Chunked Prefill：把 Prefill 切片，保护 Decode 延迟
· ☕ 7 分钟 · ✍️ k4i
把长 prompt 的 prefill 拆成多个调度迭代，可以避免 decode 请求被长时间阻塞，同时不增加 FLOPs，IO 开销也几乎可以忽略。
文章
Continuous Batching：按迭代粒度调度
· ☕ 8 分钟 · ✍️ k4i
为什么按 decode iteration 做调度能消除静态 batch 的 GPU 空转，以及 prefill 和 decode 如何被打包进同一次 forward。
Paged Attention：GPU 上的虚拟内存
· ☕ 7 分钟 · ✍️ k4i
vLLM 如何借鉴操作系统分页思想，消除 KV cache 显存碎片，将 GPU 显存利用率从约 30% 推到约 96%。
Online Softmax：为任意大行设计的分块算法
· ☕ 5 分钟 · ✍️ k4i
online softmax 如何将融合 kernel 扩展到超过 SRAM 容量的行，使用数值稳定的两遍分块算法。
LLM 推理中为什么 K、V 可以被缓存
· ☕ 7 分钟 · ✍️ k4i
解释 KV 缓存如何在自回归解码中避免冗余计算，以及它带来的显存/计算权衡。
Triton 中的融合 Softmax
· ☕ 5 分钟 · ✍️ k4i
如何在 Triton 中编写融合 softmax kernel，消除冗余内存访问，性能超越 PyTorch 原生实现。
SSH 端口转发：本地与远程隧道详解
· ☕ 3 分钟 · ✍️ k4i
SSH 本地端口转发与远程端口转发的实用指南，包含示例、对比以及通过 ~/.ssh/config 的持久化配置。
Mitmproxy + Tampermonkey = 更好用的 {LLM, …} 查看器
· ☕ 7 分钟 · ✍️ k4i
用 mitmproxy 捕获 LLM API 流量，再用 Tampermonkey 把 mitmweb 里的原始 JSON 渲染成更易读的对话视图。
批量梯度下降与随机梯度下降
· ☕ 3 分钟 · ✍️ k4i
理解批量梯度下降（BGD）、随机梯度下降（SGD）以及 mini-batch 梯度下降。
Sweep Bling LP 矮轴分体键盘
· ☕ 4 分钟 · ✍️ k4i
my awesome split keyboard: sweep bling lp
Tiling WM (i3)
· ☕ 4 分钟 · ✍️ k4i
notes on i3 tiling wm.
(1) Qt, VSCode and CMake
· ☕ 3 分钟 · 🦂 Kyle
用Vscode和Cmake创建一个简单的qt应用，以后可以当成qt应用的模板使用
模板代码放在github.com/sky-bro/Qt-Cmake-Example
(0) SocksAB Intro
· ☕ 2 分钟 · 🦂 Kyle
准备用qt写一个简单的fq/代理软件，叫做SocksAB，分为服务端Socks-Bob和客户端Socks-Alice两个部分。
程序源代码托管在github.com/sky-bro/SocksAB
Clusterfuzz Local Setup
· ☕ 6 分钟 · 🦂 Kyle
本教程展示如何搭建clusterfuzz进行本地测试，教程使用的clusterfuzz版本为v2.0.1 (推荐总是使用最新的release版本)。
我的clusterfuzz将搭建在ubuntu18.04 docker容器中。最后提供一个dockerfile作为参考，下面内容基本是将dockerfile中的步骤一步步展开