Entropy、Cross Entropy 和 KL Divergence:从编码代价理解模型训练📅 2026年07月14日 · ☕ 5 分钟 · ✍️ k4i用一个两结果分布的手算例子解释 entropy、cross entropy 和 KL divergence:真实分布本身有多难编码、用错误分布编码要多贵,以及为什么 cross entropy 会自然成为分类和语言模型训练目标。
KL Divergence 为什么不是距离:方向一换,问题就变了📅 2026年07月07日 · ☕ 7 分钟 · ✍️ k4i用编码代价、SFT/RLHF 目标和连续分布例子解释 KL divergence:为什么 KL(P || Q) 不等于 KL(Q || P),以及两个方向分别惩罚什么。