Caching
Prefix Caching:跨请求复用 KV Cache
· ☕ 6 分钟 · ✍️ k4i
当成千上万的请求共享同一段 system prompt 时,每次都重新计算它的 KV cache 是纯粹浪费。Prefix caching 会存储并复用这些向量,在常见部署中显著降低 TTFT。
Prefix Caching:跨请求复用 KV Cache