文章 on k4i's blog

Entropy、Cross Entropy 和 KL Divergence：从编码代价理解模型训练

sky_io@outlook.com (K4i) — Tue, 14 Jul 2026 10:00:00 +0800

很多机器学习概念第一次看起来像三套公式：

entropy：$H(P)$
cross entropy：$H(P,Q)$
KL divergence：$D_{\mathrm{KL}}(P\Vert Q)$

这里的字母首先是一种约定，而不是公式推导出来的变量名。Shannon 在信息论奠基论文中用 $H$ 表示 entropy；¹为什么选 H 没有公认的唯一解释，因此把它记作历史符号最准确。cross entropy 仍然衡量平均编码代价，是 entropy 的推广，所以沿用 $H(P,Q)$：第一个参数是真实分布，第二个是用于编码的分布。KL 使用 $D$，是为了强调它衡量两个分布之间的 divergence（偏离程度）；但 divergence 不等于 metric，KL 不对称，也不满足三角不等式。

KL Divergence 为什么不是距离：方向一换，问题就变了

sky_io@outlook.com (K4i) — Tue, 07 Jul 2026 10:00:00 +0800

KL divergence 最容易被误读成“两个分布之间的距离”。这个说法有一半对：它确实在比较两个分布；但另一半很危险：KL 不是距离，因为方向有意义。 更准确地说，KL 虽然满足非负性，而且只有 $P=Q$ 时才为 0，却不满足 metric 要求的对称性和三角不等式。

常见概率分布：均值、方差与标准差速查

sky_io@outlook.com (K4i) — Thu, 02 Jul 2026 10:00:00 +0800

学概率时，很多分布看起来像一张公式清单：Bernoulli、Binomial、Poisson、Normal、Exponential、Gamma、Beta……如果只背概率质量函数或密度函数，很容易忘记它们各自回答什么问题。

Optimizer：从 SGD 到 AdamW，模型参数到底怎么更新

sky_io@outlook.com (K4i) — Mon, 29 Jun 2026 10:00:00 +0800

在前面的文章里，我们已经把训练过程拆成了几件事：

loss function 定义什么叫错；
前向传播与反向传播计算每个参数的梯度；
梯度下降根据梯度更新参数。

但真正写训练代码时，我们通常不会直接写：

vLLM Scheduler：请求队列如何变成 SchedulerOutput

sky_io@outlook.com (K4i) — Tue, 23 Jun 2026 11:20:00 +0800

在 request lifecycle 里，Scheduler 是最容易被低估的一段。HTTP server 负责接入请求，ModelRunner 负责把 batch 跑到 GPU 上；Scheduler 每一轮要回答的是：这一步到底让谁跑，跑几个 token，KV cache 放不放得下？

vLLM ModelRunner：SchedulerOutput 如何变成 GPU Forward

sky_io@outlook.com (K4i) — Tue, 23 Jun 2026 10:30:00 +0800

Scheduler 决定 what to run this step；ModelRunner 决定 how to run it on GPU。如果说 Scheduler 把动态请求队列压缩成 SchedulerOutput，那 ModelRunner 就负责把这份调度结果翻译成连续 tensor、KV cache slot、attention metadata、forward context、logits 和 sampled token。

模型里的数值类型：FP32、BF16、FP8、INT8 到 INT4

sky_io@outlook.com (K4i) — Tue, 23 Jun 2026 10:30:00 +0800

先给结论

模型里不是只有浮点类型，也会用整数类型。最重要的区别不是“浮点 vs 整数”，而是这个类型用在什么位置：

位置	常见类型	作用
训练计算	FP32、TF32、FP16、BF16	保持梯度和激活稳定，同时利用 Tensor Core
推理计算	BF16、FP16、FP8、INT8	降低带宽和计算成本
权重存储	BF16、FP16、FP8、INT8、INT4、NF4	减少模型文件和显存占用
KV cache / activation	BF16、FP16、FP8、INT8	长上下文和高并发时省显存
token id / mask / index	INT32、INT64、bool	表示离散索引，不是量化参数

一句话记住：训练主路径通常是浮点；推理和存储会大量使用低精度浮点和整数；整数如果表示模型数值，通常需要 scale、zero point 或 codebook 才能还原成近似实数。

Loss Function：模型到底在优化什么

sky_io@outlook.com (K4i) — Tue, 23 Jun 2026 10:00:00 +0800

前向传播给出预测，反向传播计算梯度，梯度下降更新参数。但中间还有一个非常关键的问题：

预测结果到底怎样才算“错”？错多少？

这个问题由 loss function（损失函数） 回答。它把模型输出和真实标签变成一个标量：

大模型推理采样：temperature、top-p、top-k 到底在控制什么

sky_io@outlook.com (K4i) — Thu, 18 Jun 2026 21:20:00 +0800

同一个 prompt，为什么把 temperature 调低会更稳定，把 top_p 调低会更保守，把 top_k 调小会更像“只从前几个答案里挑”？这些参数不是三种魔法风格，而是在下一 token 的概率分布上做了三类很具体的操作。

Activation Function：神经网络里那个很小但很关键的非线性

sky_io@outlook.com (K4i) — Thu, 18 Jun 2026 10:00:00 +0800

Activation function 看起来只是神经网络层里一个很小的函数。真正重的计算通常是矩阵乘法：

$$z = Wx + b$$

然后逐元素套一个函数：

$$a = \phi(z)$$

很容易把 $\phi$ 当成一个可以随便替换的名字：sigmoid、tanh、ReLU、GELU、SiLU、Mish，或者几百个变体。但 activation function 不是装饰。它决定了多层网络能不能表达非线性函数，梯度能不能传下去，hidden value 的分布是否稳定，以及为了很小的精度收益是否要付出明显的运行成本。

具身智能模型的三条路线：VLA、世界模型与 WAM

sky_io@outlook.com (K4i) — Thu, 18 Jun 2026 10:00:00 +0800

如果大语言模型只需要回答一句话，那么具身智能模型要多回答一个问题：这句话接下来要变成什么动作？

比如你对桌面机器人说：“把红色杯子推到盘子旁边。”模型不只要识别杯子、理解“旁边”，还要决定机械臂下一步往哪里移动、夹爪什么时候闭合、动作失败后如何修正。这里的难点不是多模态本身，而是语言、视觉、物理状态和连续动作之间有闭环：动作会改变世界，新的世界又会改变下一步动作。

流式传输设计：为什么只靠传输层不够

sky_io@outlook.com (K4i) — Wed, 17 Jun 2026 10:00:00 +0800

很多人第一次设计“流式传输”时，会自然地问一个问题：

既然 TCP 已经是可靠有序的字节流，HTTP/2、HTTP/3 也已经支持长连接和多路复用，为什么还要在应用层重新设计一套 streaming 协议？

vLLM 请求生命周期：从 OpenAI API 到一次 Forward

sky_io@outlook.com (K4i) — Sun, 07 Jun 2026 15:30:00 +0800

从外部看，vLLM 像一个 OpenAI-compatible HTTP server：请求 /v1/chat/completions，返回 token stream。源码阅读时更关键的问题是：

一个 JSON 请求什么时候变成 engine request？什么时候跨进程？什么时候进入 scheduler？什么时候才真正触发一次 model forward？

Prefill vs Decode：为什么同一个模型有两个完全不同的瓶颈

sky_io@outlook.com (K4i) — Fri, 05 Jun 2026 22:30:00 +0800

LLM 推理表面上像一个操作：输入 prompt，然后不断输出 token。底层其实是两个 workload 在共用同一套模型权重。

prefill 负责处理输入 prompt，并构建初始 KV cache。decode 负责逐 token 生成，每一步读取已经存在的 KV cache，再追加新 token 的 KV。权重是同一套，但硬件瓶颈完全不同：prefill 更像大批量矩阵乘法；decode 更像很多小 query 反复读取一张不断增长的内存表。

LLM Attention Kernels and GPU Primitives：Attention Kernel 与 GPU 基元路线

sky_io@outlook.com (K4i) — Fri, 05 Jun 2026 11:10:00 +0800

这个系列专门放 kernel 和 GPU 基元。它和推理引擎机制系列的区别是：机制系列解释“系统为什么需要这个优化”，这里解释“这个优化在 kernel 和内存访问层面如何实现”。

LLM Quantization and Low-Precision Serving：量化与低精度推理路线

sky_io@outlook.com (K4i) — Fri, 05 Jun 2026 11:00:00 +0800

这个系列专门放量化和低精度 serving。它不只是“推理优化”的一个小节，因为量化同时牵涉表示方式、误差控制、校准数据、kernel 支持、KV cache、显存带宽和质量回归。

LLM Inference Lab Reports：推理实验与 Benchmark 路线

sky_io@outlook.com (K4i) — Fri, 05 Jun 2026 10:00:00 +0800

这条系列专门放实验报告。它和源码阅读、机制解释的区别是：每篇文章都要有可复现环境、命令、指标、图表或表格，以及明确的调参结论。

推理引擎岗位面试里，“知道 PagedAttention / prefix cache / chunked prefill”只是第一层。更有说服力的是能回答：在什么 workload 下它有效？指标改善多少？瓶颈从哪里转移到了哪里？如果线上指标变差，应该先看什么？

vLLM / SGLang 源码阅读：从请求到一次 Forward

sky_io@outlook.com (K4i) — Thu, 04 Jun 2026 22:10:00 +0800

这条系列专门放源码阅读和工程落地文章。目标不是逐文件翻译源码，而是把推理引擎里的关键机制定位到真实代码路径，并用 benchmark 或小实验验证它们的行为。

阅读顺序

先按“请求路径 -> 调度决策 -> GPU 执行”的顺序读三篇核心文章：

LLM Inference Internals：推理引擎核心机制路线

sky_io@outlook.com (K4i) — Thu, 04 Jun 2026 22:00:00 +0800

这个系列回答“推理引擎为什么长这样”。重点不是框架 API，而是 vLLM / SGLang 这类 serving engine 背后的核心机制：prefill/decode 分离、KV cache、PagedAttention、continuous batching、prefix caching、chunked prefill 和 disaggregated prefill。

大模型量化综述：从线性量化到码本量化

sky_io@outlook.com (K4i) — Mon, 01 Jun 2026 21:00:00 +0800

引言

一个 7B 模型如果用 FP16 存权重，光参数就需要：

$$7 \times 10^9 \times 2\ \text{bytes} \approx 14\ \text{GB}$$

这还没有算 KV cache、activation、临时 workspace、CUDA graph、batching 和运行时碎片。到了 70B，FP16 权重约 140 GB，单卡部署基本不现实。

从绝对位置编码到 RoPE：位置为什么可以被旋转表示

sky_io@outlook.com (K4i) — Thu, 28 May 2026 21:53:12 +0800

引言

Transformer 的自注意力有一个看似反直觉的性质：如果不给 token 额外的位置提示，它本身并不知道一句话里的词序。

比如下面两句话：

我喜欢你
你喜欢我

它们的 token 集合几乎一样，但语义完全不同。RNN 会按时间步读取输入，CNN 会用局部窗口保留邻近关系，而标准 self-attention 对一组输入向量做的是全局两两匹配。只看 attention 公式：

如何估算 LLM 训练和推理需要多少算力与显存

sky_io@outlook.com (K4i) — Wed, 27 May 2026 22:00:00 +0800

引言

如果我要训练一个 7B 模型，需要准备多少 GPU？训练 1T tokens 大概要多久？如果只是部署推理，一张 24GB 显卡能不能跑？上下文长度从 4K 增加到 32K，显存为什么突然不够了？

Agent Skill Management：把 AI 助手从聪明变成稳定

sky_io@outlook.com (K4i) — Sat, 23 May 2026 10:30:00 +0800

为什么需要 Skill

用 coding agent 一段时间后，我发现真正影响效率的不是“模型今天够不够聪明”，而是它能不能稳定地复用经验。

比如同一个仓库里，测试命令是什么、哪些文件不能随便改、生成图片应该放在哪个目录、发布前要跑什么检查、遇到 bug 应该先定位根因还是先补丁。人可以靠记忆和习惯处理这些隐性流程，但 agent 每次启动时并不天然知道这些约定。把所有规则都塞进一份巨大的 AGENTS.md 也不是好办法：上下文会膨胀，触发边界会模糊，最后变成“什么都写了，但关键时刻不一定用”。

Disaggregated Prefill：把计算拆到不同机器上

sky_io@outlook.com (K4i) — Wed, 22 Apr 2026 12:00:00 +0800

为什么同一张 GPU 上的共存有上限

chunked prefill 通过把 prefill 切成小块，让 prefill 和 decode 在同一张 GPU 上共存得更平滑。但即使 chunk 切得再好，prefill 和 decode 仍然在共享同一张 GPU。它们会竞争：

Prefix Caching：跨请求复用 KV Cache

sky_io@outlook.com (K4i) — Wed, 22 Apr 2026 11:30:00 +0800

重复前缀问题

KV cache 解决的是同一个请求内部的重复计算：解码第 $t$ 个 token 时，不需要重新计算前面 $t-1$ 个 token 的 K、V。可是生产环境里还有另一种更大规模的重复：不同请求经常以完全相同的一段 token 开头。

Chunked Prefill：把 Prefill 切片，保护 Decode 延迟

sky_io@outlook.com (K4i) — Wed, 22 Apr 2026 11:00:00 +0800

干扰问题

continuous batching 通过按迭代粒度调度请求，让 GPU 尽量保持忙碌。但它有一个很容易破坏延迟体验的边界情况：很长的 prefill。

当一个带有 2048-token prompt 的请求到达时，朴素调度器会在一次迭代里把整个 prompt 跑完 prefill。以 A100 上的 7B 模型为例，2048-token prefill 大约需要 200 ms。在这 200 ms 里，当前 batch 里已经在流式输出的 decode 请求都要等待。

Continuous Batching：按迭代粒度调度

sky_io@outlook.com (K4i) — Wed, 22 Apr 2026 10:30:00 +0800

batching 问题

batching 是 LLM serving 系统让 GPU 忙起来的基本手段。单个请求通常无法充分利用 GPU，多个请求一起跑，才能把许多小矩阵运算变成更大的矩阵运算。问题是：请求不会同时结束。

Paged Attention：GPU 上的虚拟内存

sky_io@outlook.com (K4i) — Wed, 22 Apr 2026 10:00:00 +0800

显存管理问题

碎片化问题

上一篇 KV cache 解释了为什么自回归解码可以缓存 key 和 value。KV cache 帮我们避免了大量重复计算，但也引出了一个新的系统问题：这些不断增长的缓存到底放在哪里？

Online Softmax：为任意大行设计的分块算法

sky_io@outlook.com (K4i) — Tue, 21 Apr 2026 10:00:00 +0800

引言

在融合 softmax 一文中，我们展示了将整行保持在 GPU SRAM 中可以消除冗余全局内存流量——将 softmax 的内存操作从 $8MN$ 降至 $2MN$。这背后有一个关键假设：大小为 $N$ 的每一行能放入 SRAM。

LLM 推理中为什么 K、V 可以被缓存

sky_io@outlook.com (K4i) — Mon, 20 Apr 2026 12:00:00 +0800

引言

大语言模型以自回归方式生成文本——每次生成一个 token，每个新 token 依赖于之前所有 token。这种串行特性带来了一个根本的优化机会：每一步中大部分计算是冗余的。

Triton 中的融合 Softmax

sky_io@outlook.com (K4i) — Mon, 20 Apr 2026 10:00:00 +0800

引言

softmax 是深度学习中最常见的运算之一，出现在注意力机制、分类头，以及任何需要将向量归一化为概率分布的场景中。

对于长度为 $N$ 的向量 $x$，softmax 函数定义为：

SSH 端口转发：本地与远程隧道详解

sky_io@outlook.com (K4i) — Sun, 19 Apr 2026 00:00:00 +0800

SSH 端口转发（也称 SSH 隧道）允许你通过加密的 SSH 连接安全地路由网络流量。分为两种方向：本地转发（-L）用于访问远程服务，远程转发（-R）用于将本地服务暴露给远程机器。

Mitmproxy + Tampermonkey = 更好用的 {LLM, …} 查看器

sky_io@outlook.com (K4i) — Sun, 22 Mar 2026 21:49:00 +0800

引言

调试 LLM 应用时，我经常想直接看到真实的 HTTP 流量：请求体、模型名、tool call、流式返回片段、token usage，以及最终响应。SDK 日志当然有用，但通常不是太概括，就是太吵。

批量梯度下降与随机梯度下降

sky_io@outlook.com (K4i) — Mon, 16 Feb 2026 23:30:00 +0800

引言

从上一篇前向传播与反向传播的文章中，我们已知梯度下降的更新公式：

\[
\theta \leftarrow \theta - \eta \nabla C
\]

其中 $\nabla C$ 是整个训练数据集上的损失梯度。但计算 $\nabla C$ 意味着要对每一个训练样本运行前向传播和反向传播，然后取平均。当数据集有数百万样本时，这是极其昂贵的。

前向传播与反向传播

sky_io@outlook.com (K4i) — Mon, 16 Feb 2026 23:26:00 +0800

深度神经网络

图 1：神经网络示例

每个层可以用数学形式描述如下，从输入层逐层计算到最终输出层的过程称为前向传播（forward propagation）：

婚礼音乐

sky_io@outlook.com (K4i) — Sat, 25 Jan 2025 02:19:00 +0000

网易云歌单

音乐列表

歌名	歌手	语言	备注
梁山伯与茱丽叶	卓文萱 / 曹格	中文	流行
老人と海	ヨルシカ	日语	欢快、乐观、斗志
Way Back Home	SHAUN	韩语	欢快
As Long as You Love Me	Backstreet Boys	英语	流行、经典
Swear It Again	Westlife	英语	流行
Anywhere But Here	Safetysuit	英语	流行
Low Key In Love	The Struts / Paris Jackson	英语	流行、欢快
I Believe (Video / Radio Mix)	Bro’Sis	英语	欢快
Yellow	Coldplay	英语	流行
I Do	911	英语	流行
Steady Me (feat. Aaron Cole)	Hollyn / Aaron Cole	英语	流行
One And Only	Adele	英语	安静
Goldmine	PALASTIC	英语	流行、欢快
Shape of You	Ed Sheeran	英语	流行、欢快
Honey Take My Hand	Cody Francis	英语	流行、舒缓
Tidal Wave	Kiso / Rossy	英语	流行、欢快
Must Be Dreaming	Biên	英语	流行
Stand by Me	Camishe / Max Oazo	英语	节奏
Theme for a Dream	Cliff Richard & the Shadows	英语	安静、欢快
Beautiful In White (Demo)	Shane Filan	英语	安静、舒缓
Angel of Mine	The Icarus Account	英语	安静、舒缓
A Thousand Years	Christina Perri	英语	安静、舒缓
Romeo’s Tune	Pajaro Sunrise	英语	安静、轻快
All My Life	WILD	英语	安静、舒缓
How Long Will I Love You	Ellie Goulding	英语	安静、舒缓
When You Say Nothing At All	Alison Krauss	英语	安静
Look At Me	Alan Jackson	英语	安静
I Will Spend My Whole Life Loving You	Kina Grannis / Imaginary Future	英语	舒缓、安静
Anchor	Novo Amor	英语	舒缓、爱情
I Knew I Loved You	Savage Garden	英语	舒缓
Loving you/Yêu anh	park / B Double O	英语、越南语	安静、舒缓
いつも何度でも	木村弓	日语	安静、舒缓
夜色	玉置浩二	日语	安静、舒缓
Небо-самолеты	Макsим	俄语	安静
First Love	Jurrivh	纯音乐	安静
River Flows in You	Yiruma	纯音乐	钢琴曲、安静、好听
风的小径	万能日记	纯音乐	舒缓、安静

Sweep Bling LP 矮轴分体键盘

sky_io@outlook.com (K4i) — Sat, 25 May 2024 22:01:00 +0800

分体键盘介绍/如何选择分体键盘

选择键盘固件

zmk官网有对常见键盘固件功能的对比: zmk features, 我自己没有接触过除zmk的其它固件, 冲分体和蓝牙多设备我直接选择了zmk, 而且感觉zmk社区也比较活跃.

做自己, 纯粹一点

sky_io@outlook.com (K4i) — Wed, 05 Apr 2023 21:58:00 +0800

发现工作快一年了, 上班时间似乎没有百分百投入, 下班时间大部分是在玩手机或者玩游戏. 整个人似乎浑浑噩噩度过每一天, 没有去收拾房间, 打扫卫生, 出门晒太阳, 学习感兴趣的知识.

Tiling WM (i3)

sky_io@outlook.com (K4i) — Sat, 04 Dec 2021 22:36:00 +0800

什么是窗口管理器

窗口管理器 (Window Manager) 就是用来管理窗口的. 主要分为两大类:

Stacking WM:

每个窗口都可以拖拽, 改变大小, 窗口之间可以有重叠, 主要靠鼠标控制.

比如下图, Stacking WM的屏幕利用率比较低, 而且操作严重依赖鼠标, 比较慢.

(1) Qt, VSCode and CMake

sky_io@outlook.com (K4i) — Fri, 25 Dec 2020 13:31:42 +0800

用Vscode和Cmake创建一个简单的qt应用，以后可以当成qt应用的模板使用
模板代码放在github.com/sky-bro/Qt-Cmake-Example

(0) SocksAB Intro

sky_io@outlook.com (K4i) — Fri, 25 Dec 2020 13:31:30 +0800

准备用qt写一个简单的fq/代理软件，叫做SocksAB，分为服务端Socks-Bob和客户端Socks-Alice两个部分。
程序源代码托管在github.com/sky-bro/SocksAB

Clusterfuzz Local Setup

sky_io@outlook.com (K4i) — Mon, 18 May 2020 12:59:28 +0800

本教程展示如何搭建clusterfuzz进行本地测试，教程使用的clusterfuzz版本为v2.0.1 (推荐总是使用最新的release版本)。
我的clusterfuzz将搭建在ubuntu18.04 docker容器中。最后提供一个dockerfile作为参考，下面内容基本是将dockerfile中的步骤一步步展开