从 Transformer 的绝对位置编码讲起，逐步推导相对位置、复数旋转、欧拉公式与 RoPE 的关系。

从矩阵乘法出发，推导 LLM 训练 FLOPs、推理 FLOPs、权重显存、KV cache 和训练显存的可手算估算方法。

一篇关于 agent skill 管理的实践笔记：如何安装、创建、删除、禁用、更新和演化 skill，以及哪些元 skill 最值得先装。

把 prefill 和 decode 路由到不同 GPU 池，可以彻底消除两者的资源干扰，让 TTFT 与 TPOT 分开扩容；代价是必须跨机器迁移 KV cache。

当成千上万的请求共享同一段 system prompt 时，每次都重新计算它的 KV cache 是纯粹浪费。Prefix caching 会存储并复用这些向量，在常见部署中显著降低 TTFT。

把长 prompt 的 prefill 拆成多个调度迭代，可以避免 decode 请求被长时间阻塞，同时不增加 FLOPs，IO 开销也几乎可以忽略。

为什么按 decode iteration 做调度能消除静态 batch 的 GPU 空转，以及 prefill 和 decode 如何被打包进同一次 forward。

vLLM 如何借鉴操作系统分页思想，消除 KV cache 显存碎片，将 GPU 显存利用率从约 30% 推到约 96%。

online softmax 如何将融合 kernel 扩展到超过 SRAM 容量的行，使用数值稳定的两遍分块算法。

解释 KV 缓存如何在自回归解码中避免冗余计算，以及它带来的显存/计算权衡。

如何在 Triton 中编写融合 softmax kernel，消除冗余内存访问，性能超越 PyTorch 原生实现。

SSH 本地端口转发与远程端口转发的实用指南，包含示例、对比以及通过 ~/.ssh/config 的持久化配置。

用 mitmproxy 捕获 LLM API 流量，再用 Tampermonkey 把 mitmweb 里的原始 JSON 渲染成更易读的对话视图。

理解批量梯度下降（BGD）、随机梯度下降（SGD）以及 mini-batch 梯度下降。

理解梯度下降中的反向传播机制。

一些好听的适合婚礼的音乐

my awesome split keyboard: sweep bling lp

做个纯粹的人.

notes on i3 tiling wm.