Chunked Prefill:把 Prefill 切片,保护 Decode 延迟📅 2026年04月22日 · 📝 2026年05月30日 · ☕ 7 分钟 · ✍️ k4i把长 prompt 的 prefill 拆成多个调度迭代,可以避免 decode 请求被长时间阻塞,同时不增加 FLOPs,IO 开销也几乎可以忽略。