https://k4i.top/zh/series/llm-attention-kernels-and-gpu-primitives/Recent content in LLM Attention Kernels and GPU Primitives on k4i's blogHugo -- gohugo.iozhsky_io@outlook.com (K4i)sky_io@outlook.com (K4i)All content is subject to the license of <a rel="license noopener" href="https://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank">CC BY-NC-SA 4.0</a> .Fri, 05 Jun 2026 11:10:00 +0800https://k4i.top/zh/posts/llm-attention-kernels-gpu-primitives/Fri, 05 Jun 2026 11:10:00 +0800sky_io@outlook.com (K4i)Fri, 05 Jun 2026 00:26:17 +0800https://k4i.top/zh/posts/llm-attention-kernels-gpu-primitives/<p>这个系列专门放 kernel 和 GPU 基元。它和推理引擎机制系列的区别是：机制系列解释“系统为什么需要这个优化”，这里解释“这个优化在 kernel 和内存访问层面如何实现”。</p>K4ifeatured imagellmattentiontritoncudagpukernelAILLM Attention Kernels and GPU Primitiveshttps://k4i.top/zh/posts/online-softmax/Tue, 21 Apr 2026 10:00:00 +0800sky_io@outlook.com (K4i)Fri, 05 Jun 2026 00:20:16 +0800https://k4i.top/zh/posts/online-softmax/<h2 id="introduction">引言</h2> <p>在<a href="https://k4i.top/zh/posts/fused-softmax/">融合 softmax 一文</a>中，我们展示了将整行保持在 GPU SRAM 中可以消除冗余全局内存流量——将 softmax 的内存操作从 \(8MN\) 降至 \(2MN\)。这背后有一个关键假设：大小为 \(N\) 的每一行能放入 SRAM。</p>K4ifeatured imagetritongpusoftmaxonline-softmax性能优化flash-attentionAILLM Attention Kernels and GPU Primitiveshttps://k4i.top/zh/posts/fused-softmax/Mon, 20 Apr 2026 10:00:00 +0800sky_io@outlook.com (K4i)Fri, 05 Jun 2026 00:20:16 +0800https://k4i.top/zh/posts/fused-softmax/<h2 id="introduction">引言</h2> <p>softmax 是深度学习中最常见的运算之一，出现在注意力机制、分类头，以及任何需要将向量归一化为概率分布的场景中。</p> <p>对于长度为 \(N\) 的向量 \(x\)，softmax 函数定义为：</p>K4ifeatured imagetritongpusoftmaxkernel-fusion性能优化AILLM Attention Kernels and GPU Primitives