供应商说模型是 AI 自己压的,该问什么
这句话在评审会上意味着什么
选型会上,供应商介绍模型体积:「我们用的是自动压缩流水线,智能体自己试方案,一周能迭代一版。」
这句话的信息量比它听起来小。它说明对方有自动化能力,也说明压缩过程不在人的逐步控制之下。对采购方来说,这既不是加分项,也不是减分项——它只是改变了你要问的问题。
自动压缩真正改变的是试错速度,不是责任归属。模型压完装到店里,认错一单,损失还是门店承担。
三个必须问清的前提
压到什么约束下。 存储上限多少、内存峰值多少、在哪颗芯片上跑、延迟要求多少。没有约束的「压缩成功」无法比较——多给一倍存储,任何方案都能压得好看。
用什么指标搜的,用什么指标验的。 搜索阶段常用困惑度这类便宜的代理指标,验收则应该看任务结果。这两个指标经常不是一回事:代理指标降了,任务表现未必跟上。
在完整模型上验,还是在单个模块上验。 局部排名和整体排名会打架。有公开评测记录过这种情况:把单模块的最优选择放回完整模型,接近四分之一的局部结论被推翻。
门店自己能做的三件事
用自家的图跑完整一单。 从识别到匹配到计价到出小票,人工核对最后金额。压缩带来的偏差常常在单步测试里看不出来,走到业务链末端才显形。
分品类看。 一个总分九成,可能是大路货全对、高单价品类全错。让供应商按品类拆开给结果,重点看客单价最高的几类和称重生鲜。
换一台设备重跑。 压缩产物和芯片、推理引擎绑在一起。同一份文件在另一种盒子上,未必是同一个结果。
值得追加的两个要求
要失败样本,不要只要平均值。 让对方列出压完之后错得最多的那批样本,说明错在哪。愿意给这个的供应商,通常对自己的方案有底。
要可复核的记录。 压缩用的约束、评测脚本、模型版本,应当能一起交付。过程记不下来,出了问题就只能靠猜。
什么时候这句话可以当真
三种情况下,「AI 自动压缩」才算一条有效信息:有独立第三方或甲方参与的验证报告;约束条件写进了合同(存储、延迟、支持芯片);版本可以回滚,出了问题是换回上一版而不是现场排查。
三条都不满足时,这句话只是一句介绍。它不构成承诺,也不构成验收依据。
一句话
自动压缩把「模型怎么变小」变成了黑箱,这没什么问题——黑箱到处都是。问题在于验收不能跟着进黑箱。门店手上那批自家拍的图、那台要装机的盒子、那张要打出来的小票,才是唯一能把黑箱打开一条缝的东西。