供应商说「只掉半个点」，这个数是怎么来的
评审会上的那一栏
设备选型的评审表通常长这样：模型体积、单帧耗时、并发路数、量化后精度损失。前几栏是硬指标，抄下来就能比。最后一栏最难办——供应商写「不到一个点」，评审组没人能判断这个数意味着什么。
它不像体积和耗时那样能当场验。体积看文件，耗时跑一遍就知道，精度得有一批标好的图、一套跑得通的流程，还得知道对方是怎么算的。
多数时候，这一栏就这么过去了。它看起来很小，又不好反驳。
这句话缺三个前提
「量化后精度只掉不到一个点」这句话，至少缺三个前提才成立。
第一，用什么图测的。 是商品图册里的标准白底图，还是店里手机随手拍的图；是参与了量化校准的那批，还是完全没见过的。用校准集测校准结果，数字一定好看，因为没有一样东西是新的。
第二，在哪条流程里测的。 量化前后，图像预处理是不是同一份代码？置信度阈值有没有为量化版本调过？如果调过，那测的就不是「同一个配置下量化带来的变化」，而是「重新调过参数的另一个配置」。
第三，算的是什么。 是每一步的输出与全精度模型有多接近，还是整笔单子最后对不对。这两个不是一回事。
三个前提里任何一个不同，两个供应商的数字就不能放在一张表里比。不是谁在说谎，是两把尺子刻度不一样。
误差会在流程里放大
单步指标有个默认前提：这一步错了，不影响下一步。门店的实际流程不是这样。
一笔散装生鲜的单子要走这么几步：认出这是什么品、匹配到哪个商品编码、调出单价、上秤取重、算出金额、打小票。识别只是第一步，后面每一步都建立在前一步的结果上。
品名认错一个，单价就调错，金额跟着错，小票打出来顾客当场就能看见。单看识别环节，可能只是一百次里错几次；落到一天的客流上，就是几笔要现场处理的纠纷，外加一次称重台的排队。
这就是为什么「单步指标」和「整单结果」要分开看。前者衡量模型，后者衡量这门生意。买设备的人关心的是后者，但供应商给的常常是前者。
门店自己能做的三件事
用自家的图，不用图册的图。 挑三十到五十张店里最难的情况：反光的塑料袋、堆在一起的散装菜、压变形的包装、逆光的门口货架、刚换的新品。标好正确答案。这批图不上传、不外发，就留在本地做验收。
跑完整一单，不只看识别结果。 让设备从识别一路走到出小票，人工核对最后的金额。这一步能暴露单步测试看不见的问题：匹配错了、单价取错了、数量乘错了。
分品类看，不看总分。 一个总分九成，可能是大路货全对、高单价的几个品类全错。把结果按品类拆开，重点看客单价最高的那几类，和称重台上最容易起争议的生鲜。
这三件事做完，你手上就有了一把自己的尺子。供应商的数字再漂亮，也得在你这把尺子上量一遍。
问供应商的五个问题
- 这个精度损失，是在哪批数据上测的？这批数据参与量化校准了吗？
- 量化前后的预处理和后处理是同一份代码吗？阈值调过没有？
- 报的是单步指标还是整单结果？如果是单步，有没有端到端的数？
- 能不能给出分品类的结果，特别是高单价和称重生鲜这两类？
- 同一份模型换一台设备，这个数还成立吗？
第五个问题最容易被忽略。量化模型的表现和具体芯片、推理引擎的实现绑在一起，同一份文件在另一种设备上未必是同一个结果。
一句话
「只掉半个点」不是假话，但它是一句没有主语的话——在什么数据上、什么流程里、算什么指标，这三个说不清，这个数就不能用来做决定。验收的主动权，在于你自己手里有没有一批标好的、来自店里的图。