目录
- 1. 权重的“精度压缩”：从FP32→4位NF4，直接砍显存
- 2. NF4的“适配性优化”：减少压缩后的精度损失
- 3. “冻结主权重+仅训LoRA”：进一步省显存+保效果
- 总结原理
这个“4位NF4量化+冻结主权重”能大幅减少显存的原理，本质是“精度压缩+计算分离”，可以拆成3个核心环节理解：
1. 权重的“精度压缩”：从FP32→4位NF4，直接砍显存
模型的显存占用主要由权重参数的数量×每个参数的字节数决定：
- 以Llama3-8B为例：80亿个参数，FP32格式下每个参数占4字节 → 显存占用=8e9 × 4B = 32GB；
- 用4位（NF4）量化后，每个参数仅占0.5字节（4bit=0.5B） → 显存占用=8e9 × 0.5B = 4GB；
- 再加上
BitsAndBytes的“量化打包”优化（比如把多个4位参数打包到一个字节），实际能压到2GB左右——相当于直接把权重的存储体积压缩到原来的1/16（FP32→4位）。
2. NF4的“适配性优化”：减少压缩后的精度损失
普通4位量化（比如直接转int4）会因为数值范围不匹配，导致权重信息丢失严重；而NF4是为LLM权重量身定制的4位格式，原理是：
- LLM的权重通常符合“正态分布”（大部分数值集中在0附近，两端长尾）；
- NF4的量化区间是基于LLM权重的正态分布统计出来的，能更精准地“覆盖权重的有效数值范围”；
- 相比普通int4，NF4能在4位精度下保留更多权重的原始信息，避免量化后模型“变傻”。
3. “冻结主权重+仅训LoRA”：进一步省显存+保效果
LoRA微调的核心是只训练少量低秩矩阵，主模型权重完全冻结：
- 主模型的4位量化权重是“只读”的，不需要存储梯度（梯度通常是FP32/FP16，占显存极大）；
- 仅需为LoRA的低秩矩阵（通常只占主模型参数的0.1%-1%）分配显存，用于存储参数和梯度；
- 最终，微调时的显存占用=“4位量化主模型的显存” + “LoRA参数+梯度的显存”，所以能压到极低（比如Llama3-8B+LoRA仅需2-3GB）。
总结原理
一句话概括：用“适配LLM的4位NF4格式压缩主权重”减少存储体积，再通过“冻结主权重+仅训少量LoRA参数”避免梯度显存开销，最终实现“极低显存占用+几乎不丢微调效果”。
要不要我帮你整理一份LLM量化显存计算的公式清单？