Systems on k4i's blog

Disaggregated Prefill：把计算拆到不同机器上

sky_io@outlook.com (K4i) — Wed, 22 Apr 2026 12:00:00 +0800

为什么同一张 GPU 上的共存有上限

chunked prefill 通过把 prefill 切成小块，让 prefill 和 decode 在同一张 GPU 上共存得更平滑。但即使 chunk 切得再好，prefill 和 decode 仍然在共享同一张 GPU。它们会竞争：

Prefix Caching：跨请求复用 KV Cache

sky_io@outlook.com (K4i) — Wed, 22 Apr 2026 11:30:00 +0800

重复前缀问题

KV cache 解决的是同一个请求内部的重复计算：解码第 \(t\) 个 token 时，不需要重新计算前面 \(t-1\) 个 token 的 K、V。可是生产环境里还有另一种更大规模的重复：不同请求经常以完全相同的一段 token 开头。

Chunked Prefill：把 Prefill 切片，保护 Decode 延迟

sky_io@outlook.com (K4i) — Wed, 22 Apr 2026 11:00:00 +0800

干扰问题

continuous batching 通过按迭代粒度调度请求，让 GPU 尽量保持忙碌。但它有一个很容易破坏延迟体验的边界情况：很长的 prefill。

当一个带有 2048-token prompt 的请求到达时，朴素调度器会在一次迭代里把整个 prompt 跑完 prefill。以 A100 上的 7B 模型为例，2048-token prefill 大约需要 200 ms。在这 200 ms 里，当前 batch 里已经在流式输出的 decode 请求都要等待。

Continuous Batching：按迭代粒度调度

sky_io@outlook.com (K4i) — Wed, 22 Apr 2026 10:30:00 +0800

batching 问题

batching 是 LLM serving 系统让 GPU 忙起来的基本手段。单个请求通常无法充分利用 GPU，但多个请求放在一起，就能把很多小矩阵运算变成更大的矩阵运算。问题是：请求不会同时结束。

Paged Attention：GPU 上的虚拟内存

sky_io@outlook.com (K4i) — Wed, 22 Apr 2026 10:00:00 +0800

显存管理问题

碎片化问题

上一篇 KV cache 解释了为什么自回归解码可以缓存 key 和 value。KV cache 帮我们避免了大量重复计算，但也引出了一个新的系统问题：这些不断增长的缓存到底放在哪里？