先分清你要跑的是什么活
「在店里放一台机器跑模型」这句话底下，藏着三种不同的负载：
- 看一眼就出结果：识别一件商品、判断货架有没有缺货。输入一张图，输出一个标签，几秒钟结束。
- 连续说一段话：语音问询、导购播报。输出要一个字一个字生成，说得越多等得越久。
- 反复查资料再回答：店务助手这类，每轮都带着很长的说明和工具定义，大部分时间花在读提示词上。
三种负载对硬件的要求不一样。混在一起谈，买回来的机器总有一项不够用。
第一问：装得下吗
模型在机器上占的地方有三块：权重（模型文件本身，80 亿参数 16 位约 16GB，压到 4 位约 4GB）、对话缓存（随上下文增长，同一个模型 16 位下大约每个字 100KB 出头，8K 上下文就是 1GB 上下，三路同聊就是三份）、运行时开销（临时数据、框架本身，再加上收银软件和界面）。
独显方案里这三块必须一起塞进显存。常见独显是 8GB、12GB、24GB 三档，模型稍大就得切分、往主机内存里挪，或者在上下文长度上让步——现场表现就是「聊到一半开始变慢」。
统一内存的机器（CPU 和 GPU 共用一套内存）把这道墙往后推：整机 32GB、64GB 就能装下显存装不下的模型。这两年本地跑模型的小主机受欢迎，不是因为算得快，是因为装得下。
所以第一问很直接：三笔加起来乘以并发路数，看可用内存够不够。不够，后面两问都不用问。
第二问：吐字快不快
这一问由内存带宽决定，不由算力决定。
生成时是一个字一个字往外吐的，每吐一个字都要把权重完整读一遍。速度上限可以粗算成：内存带宽 ÷ 每个字要读的字节数。
一个 4 位量化的 80 亿参数模型，权重约 4GB。设备带宽如果是每秒 120GB，理论上限就是每秒 30 个字左右，实际打对折是常态。同一份模型放到带宽每秒 900GB 以上的独显上，上限高一个数量级——前提是显存装得下。
这也解释了一个常见现象：为什么「配置表算力更高」的机器，实际答得更慢——算力不是瓶颈，搬数据才是。量化因此有两个好处：省内存，而且每个字要读的字节数少了一半以上。
第三问：能不能连续跑一天
门店设备从早开到晚，中间夹着午市高峰。这一问看三件事：
- 功耗与散热。带独显的小主机整机常在 300W 以上，有风扇，风扇进灰要清。统一内存的小主机几十瓦，很多无风扇，塞在收银台下不吵。
- 降频。散热跟不上时机器自己降速，短测看不出来，跑两小时才开始慢，验收当天最容易放过。
- 断电恢复。门店跳闸不稀罕。设备要能自己起来、模型自己加载、业务自己接上，而不是等人到店按一下。
第四问：几路同时用
单店人不多，但高峰集中：早市三台收银机同时识别，午市店员同时在问库存。
所有请求共享同一条内存带宽，三路并发时单路速度大致按比例下降，统一内存设备尤其明显。所以「一个人慢慢测出来的速度」不能乘个系数当并发能力，要按最忙的时段、按实际同时使用的人数测。
两类机器的现实差别
| 统一内存小主机 | 带独显的机器（含二手卡） | |
|---|---|---|
| 装得下的模型 | 更大（按整机内存算） | 更小（按显存算） |
| 吐字速度 | 受带宽限制，中档 | 快，尤其长输出 |
| 功耗噪音 | 几十瓦，可无风扇 | 三百瓦起，有风扇 |
| 扩容与维修 | 买的时候定死，整机保修 | 内存硬盘可加、显卡可换；二手卡无保修，驱动支持期不确定 |
二手卡这笔账要算清楚：卡便宜，但要多一台主机、一个够大的电源、一个能散热的位置。省下的钱，有一部分会以「停机等人修」还回去。
验收时怎么试
对方推荐一台「能在店里跑模型」的机器，按这几步试，问题暴露得很快：
- 用店里真实的图片和真实问法，不用演示数据。
- 连续跑满一个营业日，记录第 1 小时和第 8 小时的速度差。
- 三路同时用，看是否排队、内存峰值多少。
- 拔掉网线再试，确认「本地」是真的本地。
- 冷启动一次，从开机到第一次出结果要多久；再直接断电上电，看能不能自己恢复。
小结
装得下、跑得快、扛得住一天，是三件不同的事，对应容量、带宽、散热三笔账。
只做识别复核这类短任务，功耗低、装得下的统一内存小主机就够；要做长时间语音问答或多路摄像头，带宽和并发是主要矛盾，带独显的机器更合适，代价是功耗、噪音和保修风险。
先想清楚这台机器要干什么活，比先比参数表有用。