https://k4i.top/zh/tags/kl-divergence/Recent content in Kl-Divergence on k4i's blogHugo -- gohugo.iozhsky_io@outlook.com (K4i)sky_io@outlook.com (K4i)All content is subject to the license of <a rel="license noopener" href="https://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank">CC BY-NC-SA 4.0</a> .Tue, 14 Jul 2026 10:00:00 +0800https://k4i.top/zh/posts/entropy-cross-entropy-kl/Tue, 14 Jul 2026 10:00:00 +0800sky_io@outlook.com (K4i)Tue, 14 Jul 2026 10:00:00 +0800https://k4i.top/zh/posts/entropy-cross-entropy-kl/<p>很多机器学习概念第一次看起来像三套公式：</p> <ul> <li>entropy：\(H(P)\)</li> <li>cross entropy：\(H(P,Q)\)</li> <li>KL divergence：\(D_{\mathrm{KL}}(P\Vert Q)\)</li> </ul> <p>这里的字母首先是一种约定，而不是公式推导出来的变量名。Shannon 在信息论奠基论文中用 \(H\) 表示 entropy；<sup id="fnref:1"><a href="#fn:1" class="footnote-ref" role="doc-noteref">1</a></sup>为什么选 <code>H</code> 没有公认的唯一解释，因此把它记作历史符号最准确。cross entropy 仍然衡量平均编码代价，是 entropy 的推广，所以沿用 \(H(P,Q)\)：第一个参数是真实分布，第二个是用于编码的分布。KL 使用 \(D\)，是为了强调它衡量两个分布之间的 <strong>divergence（偏离程度）</strong>；但 divergence 不等于 metric，KL 不对称，也不满足三角不等式。</p>K4ifeatured imagedeep-learninginformation-theorycross-entropykl-divergenceloss-functionAIhttps://k4i.top/zh/posts/kl-divergence-not-a-distance/Tue, 07 Jul 2026 10:00:00 +0800sky_io@outlook.com (K4i)Tue, 07 Jul 2026 10:00:00 +0800https://k4i.top/zh/posts/kl-divergence-not-a-distance/<p>KL divergence 最容易被误读成“两个分布之间的距离”。这个说法有一半对：它确实在比较两个分布；但另一半很危险：<strong>KL 不是距离，因为方向有意义。</strong> 更准确地说，KL 虽然满足非负性，而且只有 \(P=Q\) 时才为 0，却不满足 metric 要求的对称性和三角不等式。</p>K4ifeatured imagedeep-learningkl-divergencecross-entropyrlhfinformation-theoryAI