https://k4i.top/zh/tags/position-encoding/Recent content in Position-Encoding on k4i's blogHugo -- gohugo.iozhsky_io@outlook.com (K4i)sky_io@outlook.com (K4i)All content is subject to the license of <a rel="license noopener" href="https://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank">CC BY-NC-SA 4.0</a> .Thu, 28 May 2026 21:53:12 +0800https://k4i.top/zh/posts/positional-encoding-to-rope/Thu, 28 May 2026 21:53:12 +0800sky_io@outlook.com (K4i)Thu, 04 Jun 2026 01:12:37 +0800https://k4i.top/zh/posts/positional-encoding-to-rope/<h2 id="introduction">引言</h2> <p>Transformer 的自注意力有一个看似反直觉的性质：如果不给 token 额外的位置提示，它本身并不知道一句话里的词序。</p> <p>比如下面两句话：</p> <ul> <li>我 喜欢 你</li> <li>你 喜欢 我</li> </ul> <p>它们的 token 集合几乎一样，但语义完全不同。RNN 会按时间步读取输入，CNN 会用局部窗口保留邻近关系，而标准 self-attention 对一组输入向量做的是全局两两匹配。只看 attention 公式：</p>K4ifeatured imagellmtransformerattentionposition-encodingropeAI