三个供应商，三套说辞
连锁准备上一批识别设备，找来三家谈。
第一家说他们用量化，模型体积砍掉四分之三，速度翻倍。第二家说量化不行、精度掉得厉害，他们用蒸馏，小模型比大模型还稳。第三家说前两个都太保守，他们剪枝加蒸馏，参数量只剩十分之一。
三家给的数字可能都是真的。但它们没法放在一起比——因为每家的「体积砍掉多少」「速度快多少」「精度掉多少」，是在不同的模型上、不同的设备上、自己挑的那个指标上测出来的。
这就是门店在选型时最常踩的坑：拿三份互不相干的成绩单，去评一个要装在自己店里的东西。
为什么这些数字都成立却没可比性
模型压缩这件事，收益不是恒定的，它取决于三件事：
- 压缩的是哪个模型。 一个本来就有冗余的大网络，剪掉一半可能几乎不掉点；一个已经调得很紧的网络，再压就崩。所以「体积减 90%」这句，离开具体模型没有意义。
- 跑在哪台设备上。 同一个压缩后的模型，在带 NPU 的边缘盒子和在通用 CPU 上，瓶颈不一样。有的平台算子支持不全，压缩格式反而要在软件层解回来，速度不升反降。
- 看哪一项指标。 体积、速度、精度三者互相拉扯。只看体积，剪枝永远赢；只看速度，量化常常赢；只看精度，不压缩最赢。单项冠军什么也说明不了。
有人认真比过一次，方法值得抄
2026 年 10 月 arXiv 上有一篇工作（编号 2610.30228），做的正是这种横向比较，设定很清楚：
- 任务和模型固定。 旋转机械的预测性维护，真实工业数据集，一个性能较高的卷积网络。
- 只换压缩方法。 对比四种主流压缩技术，其余条件不动。
- 平台横跨九档。 从算力很紧的边缘设备，到通用处理器，再到高性能处理器。
- 三项指标联合排序。 分类性能、推理速度、压缩比一起看，不搞单项冠军。
在这组条件下，知识蒸馏的综合表现最好：相对未压缩模型，体积减少 98.9%，平衡 F 值 91.22%，精度只小幅下降，并且在全部九台设备上都取得了 90% 以上的加速。
「全部九台」这个限定词是重点。只在一台设备上快，说明这套方法在那一台上能跑；在所有设备上都快，才说明它扛得住硬件碎片化。
但别把结论直接搬到门店
这篇论文测的是工业旋转机械，模型是卷积网络，任务是预测性维护。门店做的是商品识别、生鲜计价、自助收银防损，输入是货架和秤台的图像，输出的是一堆 SKU。任务换了，压缩敏感度就换了。
所以从这篇文章里能拿走的不是「选蒸馏」，而是这个比较的框架：固定任务、固定设备档位、三项指标一起排。谁按这个框架给出数据，谁的说法就可信一分。
门店实际怎么比
不用自己跑评测，但可以让供应商按同一套口径交作业。
要供应商回答的四个问题：
- 这套压缩是在哪个模型上做的？原本多大，压完多大，用什么指标衡量的精度？
- 提速是在哪几台设备上测的？有没有覆盖我们实际要采购的型号？
- 精度是掉在整体上，还是掉在某几个品类上？生鲜、散装、反光包装这几类单独的数字是多少？
- 如果不用这套压缩，同一个模型的体积、速度、精度分别是多少？——这一问是为了拿到对照组。
门店自己做的三个动作：
- 准备一批自己的图。 从自家货架、自家秤台、自家光线条件下取几百张，包含最难的那几类：遮挡、叠放、反光、新包装、散装称重。用同一批图去测每一家的方案。
- 在真机上跑，不在演示机上跑。 至少要覆盖自己会买的两档设备，低配那档尤其要测——门店出问题往往出在低配机型上。
- 跑满负载。 按计划路数同时跑，跑一个完整的高峰时段，看的是最慢那几次的延迟，不是平均帧率。
一个容易被忽略的账
压缩方案的工程成本不一样。量化通常是后处理，拿到模型就能做；蒸馏要教师模型、要重新训练、要调参、要做消融，周期以周计。
如果门店只有一两档设备、算力本来就宽裕、模型也不大，多花几周去做蒸馏换来的那点提升，可能还不如把摄像头位置调好。压缩是手段，不是目的——先确认瓶颈在哪，再决定压什么。
小结
三家都说自己最好，很可能三家都没说谎，只是各自站在不同的模型、不同的设备、不同的指标上。门店能做的是把这三样固定住：同一批自家图片、自己真会买的那两档设备、体积速度精度三项一起看。谁能在这个口径下交数据，谁就更值得往下谈。