一句听起来像吹牛的话
谈端侧识别方案时，常听到这种说法：我们把云端那个大模型蒸馏成了一个小模型，参数量只有三十分之一，精度基本不掉，在某些指标上还比原来的大模型更准。
前半句是常规操作，后半句听着像话术。但它确实可能发生，而且有人把它写进了论文，连哪一项赢、哪一项输都标了出来。
一篇把话说全了的论文
2026 年 10 月 arXiv 上有一篇电网方向的工作（编号 2610.21833）。背景是这样：电网的基础模型算潮流比迭代求解器快几个数量级，但它是按数据中心推理设计的；而低惯量运行场景要求在测量点旁边、一次同步相量上报的时限之内、单条样本就算完。这两个条件对不上，只能蒸馏。
规模上：教师 20.1M 参数、12 层，学生 0.62M 参数、6 层，参数量压到 1/32.5，消息传递深度减半。
训练目标不只对齐输出，还加了物理残差、隐状态、注意力三项迁移。评测在 IEEE 118 节点电网的可再生能源变体上做，9.7 万个满足约束的运行场景，八种组合全部消融，并且把「对真值的准确率」和「对教师的保真度」分开报。
三条结果：
- 蒸馏让四个预测量的误差全部下降，有功调度上最多降 48%。
- 在无功调度上，每一个蒸馏出来的学生都比它的教师更准。教师确实不是天花板。
- 增益主要来自输出对齐那一项。而作者特意加进去的物理残差项，按论文这种层聚合的用法，结果一致变差——他们归因于这一项对母线级残差场做了空间平均，把局部信息抹平了。
第三点是这篇最值钱的地方。一个听上去「更懂业务」的设计，实测是负收益，作者照实写了出来。
这件事对门店意味着什么
小模型不是大模型的缩水版，是另一个模型
蒸馏出来的学生，错法和老师不一样。它可能在整体准确率上很接近，但在某一类商品上系统性地错——因为教师那种「看整体轮廓再判断」的能力，在压缩后变成了「看局部纹理」。这在货架上很具体：换了包装的同一商品、反光的真空袋、堆在一起的水果，都可能成为它新的薄弱面。
所以「精度掉了 0.5 个点」这种整体口径，对门店几乎没有指导意义。要看的是分品类的数字。
「某个指标上比大模型准」是可以成立的，但要问是哪个指标
论文里学生赢在无功调度，输赢是分预测量看的。换成门店，就是：整体准确率、生鲜品类准确率、新包装首周准确率、称重区误识别率，这些是不同的量，可以各有胜负。
听到「比大模型还准」，正确反应不是不信，而是问：在哪个指标上、用哪批数据测的、其他指标掉了多少。
「我们把业务规则写进训练了」不等于模型会守规则
这是最容易糊弄过去的一句。论文给的例子很清楚：把物理残差作为训练信号加进去，不但没帮上忙，还一致变差。约束项怎么写、在哪一层聚合、和主损失怎么配比，任何一处不对，都可能变成噪声。
门店侧的对应版本是：供应商说「我们把同品类合并规则、称重区规则都加进模型了」。这句话需要一次实测来支撑，而不是一次演示。
验收怎么做
四个动作，都不需要算法知识：
- 按品类分组看结果。 不要一个总准确率。至少拆成：常规包装商品、生鲜散装、称重区、新包装首周、遮挡叠放。哪一组掉得最多，问题就在那里。
- 专测「规则类」行为。 同一个商品的两种包装，是否被判成同一个 SKU；临时换的促销装，会不会被当成新品；秤台上没放商品时，会不会凭空出一个结果。这些不是精度问题，是规则问题，要单独测。
- 要对照组。 让供应商给出「不用这项技术」时的数字。没有对照，就无法判断那项技术到底贡献了什么。
- 上真机、跑高峰。 演示环境是单路、光线好、样品齐；门店是多路、逆光、货架满。同一批图在真机上跑一个完整高峰时段，比任何参数表都直接。
什么时候这件事值得关心
设备算力紧、要多路并发、要断网跑，这三种情况下压缩工艺的差异会直接体现在体验上：卡不卡、掉不掉帧、高峰期会不会排队。
反过来，如果门店只有一路摄像头、分辨率不高、对延迟也不敏感，那压缩方案之间的差距，很可能小于摄像头安装位置的差距。这时候把精力花在调机位上，回报更高。
小结
那句「小模型比大模型还准」在特定条件下是真的，但真假的边界在指标和数据的口径上。同一篇论文里，一个听上去更聪明的设计被实测证否，作者照实写了。门店验收时该学的是这个态度：不问「你们用了什么技术」，问「不用它的时候是多少」；不看总准确率，看分品类；不听演示，上真机跑高峰。