门店设备上跑的都是「小模型」
算力、内存、功耗摆在那儿,收银一体机上跑不下大模型。所以你看到的识别效果,来自一个被压缩过的小模型。
小模型不一定是直接在小数据集上训出来的,更常见的做法是「教」出来的:用一个大模型当老师,把学生的效果往老师那边拉。这套方法叫知识蒸馏。
老师是怎么教的
老师给出的不只是一个答案,而是一组概率。举个例子:老师看一张图,判断「苹果 0.8、梨 0.15、其他 0.05」。学生如果只被告知「这是苹果」,学到的信息就少了一截;拿到这组分布,它还能学到「这张图和梨有点像」这种边界信息。
除了答案,学生还可以去对齐老师中间层的特征——相当于不只抄结果,还看解题过程。所以蒸馏出来的小模型,往往比直接拿一批标注数据硬训出来的更好。
对门店来说,这套方法本身是中性的、常规的,没有好坏之分。真正需要留意的是它的边界。
对门店的三层现实含义
一、小模型的上限是老师。 老师认错的地方,学生会照学。所以「用了大模型当老师」不等于结果一定对——老师本身得先在门店自己的商品上验过。
二、学生可能继承老师的坏习惯。 这是一个正在被研究的问题。arXiv 上有一篇工作(编号 2610.18517)发现,学生在学会任务能力的同时,也可能继承老师在风格和倾向上的行为模式。放到识别场景里,这意味着老师在某个品类上的系统性偏好,有可能一起传到学生身上。影响的具体范围还没有定论,但上线前值得专门抽查:看错误是不是集中在某几个品类上反复出现,而不是随机散布。
三、蒸馏是有成本的。 生成老师的输出、训练学生都要算力。所以它一般出现在有明确落地目标的场合——比如要把效果装进一体机,而不是为了省事随手用。
上线前怎么盯
给门店一份能照着做的清单:
- 问清楚模型是怎么来的。 是直接在门店数据上训的,还是从更大模型蒸馏下来的?后面这条本身不丢人,是常规做法;含糊其辞才值得警惕。
- 要看分品类的错误样本。 让对方给出错得最多的品类和对应的真实画面,自己看错在哪里。
- 专查「系统性错误」。 如果某类商品总是被认成另一类,而且方向很统一,说明这不是随机失误,而是模型本身的倾向。这种错误靠「多训几轮」不一定能解决,要针对性补数据。
- 用门店的货做终验。 无论模型怎么来的,验收标准只有一个:门店自己的商品、自己的场景,表现是否达标。
- 留一批回归样本。 把上线前测过的难例留下来,下次模型更新时重跑同一批,看有没有变差。
小结
小模型的水平取决于两件事:老师有多好,以及压缩这一步做得怎么样。门店不需要懂蒸馏的细节,只要抓住验收的关键——用门店自己的货、按品类和场景拆开看、专盯重复出现的系统性错误。