延迟

门店系统接上大模型之后，搜索和问答的第一道坎往往不是准不准，而是慢。慢的原因常常不在模型大小，而在每个请求都从同一段开头重新算了一遍。前缀复用就是把这部分重复计算省掉，但它划…