门店系统

连锁想让门店「问什么都能答」，多数时候不需要一个大模型，也不需要从零训一个小模型。先把问题拆成三类——查得到答案的、要组织语言的、根本没人问的——能省掉大部分预算。

门店系统接上大模型之后，搜索和问答的第一道坎往往不是准不准，而是慢。慢的原因常常不在模型大小，而在每个请求都从同一段开头重新算了一遍。前缀复用就是把这部分重复计算省掉，但它划…