https://k4i.top/zh/tags/bf16/Recent content in Bf16 on k4i's blogHugo -- gohugo.iozhsky_io@outlook.com (K4i)sky_io@outlook.com (K4i)All content is subject to the license of <a rel="license noopener" href="https://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank">CC BY-NC-SA 4.0</a> .Tue, 23 Jun 2026 10:30:00 +0800https://k4i.top/zh/posts/model-numeric-types/Tue, 23 Jun 2026 10:30:00 +0800sky_io@outlook.com (K4i)Tue, 23 Jun 2026 10:30:00 +0800https://k4i.top/zh/posts/model-numeric-types/<h2 id="quick-answer">先给结论</h2> <p>模型里不是只有浮点类型，也会用整数类型。最重要的区别不是“浮点 vs 整数”，而是这个类型用在什么位置：</p> <table> <thead> <tr> <th>位置</th> <th>常见类型</th> <th>作用</th> </tr> </thead> <tbody> <tr> <td>训练计算</td> <td>FP32、TF32、FP16、BF16</td> <td>保持梯度和激活稳定，同时利用 Tensor Core</td> </tr> <tr> <td>推理计算</td> <td>BF16、FP16、FP8、INT8</td> <td>降低带宽和计算成本</td> </tr> <tr> <td>权重存储</td> <td>BF16、FP16、FP8、INT8、INT4、NF4</td> <td>减少模型文件和显存占用</td> </tr> <tr> <td>KV cache / activation</td> <td>BF16、FP16、FP8、INT8</td> <td>长上下文和高并发时省显存</td> </tr> <tr> <td>token id / mask / index</td> <td>INT32、INT64、bool</td> <td>表示离散索引，不是量化参数</td> </tr> </tbody> </table> <p>一句话记住：<strong>训练主路径通常是浮点；推理和存储会大量使用低精度浮点和整数；整数如果表示模型数值，通常需要 scale、zero point 或 codebook 才能还原成近似实数。</strong></p>K4ifeatured imagellm数值类型bf16fp8int8量化AILLM Quantization and Low-Precision Serving