https://k4i.top/zh/tags/triton/Recent content in Triton on k4i's blogHugo -- gohugo.iozhsky_io@outlook.com (K4i)sky_io@outlook.com (K4i)All content is subject to the license of <a rel="license noopener" href="https://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank">CC BY-NC-SA 4.0</a> .Tue, 21 Apr 2026 10:00:00 +0800https://k4i.top/zh/posts/online-softmax/Tue, 21 Apr 2026 10:00:00 +0800sky_io@outlook.com (K4i)Wed, 22 Apr 2026 01:27:12 +0800https://k4i.top/zh/posts/online-softmax/<h2 id="introduction">引言</h2> <p>在<a href="https://k4i.top/zh/posts/fused-softmax/">融合 softmax 一文</a>中，我们展示了将整行保持在 GPU SRAM 中可以消除冗余全局内存流量——将 softmax 的内存操作从 \(8MN\) 降至 \(2MN\)。这背后有一个关键假设：大小为 \(N\) 的每一行能放入 SRAM。</p>K4ifeatured imagetritongpusoftmaxonline-softmax性能优化flash-attentionAIhttps://k4i.top/zh/posts/fused-softmax/Mon, 20 Apr 2026 10:00:00 +0800sky_io@outlook.com (K4i)Wed, 22 Apr 2026 01:27:12 +0800https://k4i.top/zh/posts/fused-softmax/<h2 id="introduction">引言</h2> <p>softmax 是深度学习中最常见的运算之一，出现在注意力机制、分类头，以及任何需要将向量归一化为概率分布的场景中。</p> <p>对于长度为 \(N\) 的向量 \(x\)，softmax 函数定义为：</p>K4ifeatured imagetritongpusoftmaxkernel-fusion性能优化AI