Fp8
大模型量化综述:从线性量化到码本量化
· ☕ 25 分钟 · ✍️ k4i
从线性量化、非均匀量化和码本量化出发,系统梳理 LLM.int8()、SmoothQuant、GPTQ、AWQ、NF4、AQLM、KV cache 量化和 FP8 的数学原理、可行性与优缺点。
大模型量化综述:从线性量化到码本量化