目录
- LoRA 参数 vs Loss 行为速查表（文本版）
- loss 下降太慢 → 先检查 r / α / target_modules / dropout 是否偏小
- loss 震荡或发散 → 先检查 α / r、lr、r 是否偏大，同时看 target_modules 是否过多
- 验证 loss 振荡 → 主要看 dropout 是否过小，或 α / r 太大
- 微调默认顺序：
r → α / r → dropout → lr
lr 只在前三个稳定的情况下微调
LoRA 参数 vs Loss 行为速查表（文本版）
| 参数 | 设置过小 | 设置过大 | 工程建议 |
|---|---|---|---|
| r（秩） | 子空间容量不足 → loss 下降慢、收敛缓慢 | 参数太多 → 梯度噪声大 → loss 震荡 | 小样本 r 小点，任务复杂可适当增大；常规 8~16 |
| α / r（更新幅度） | 更新幅度不够 → loss 下降慢 | 更新过猛 → loss 剧烈震荡甚至发散 | α / r 保持 0.5~2，结合样本量调节 |
| dropout | 正则不足 → 小样本过拟合 → 验证 loss 振荡 | 正则过强 → 有效更新被阻塞 → loss 下降慢 | 小样本 0.05~0.1，数据干净可设 0 |
| lr（学习率） | 更新太慢 → loss 下降缓慢 | 更新过猛 → loss 震荡或发散 | 默认 1e-4，结合 α / r 调节，必要时 5e-5~2e-4 |
| target_modules | 可训练子空间太小 → loss 下降慢 | 可训练模块太多 → 梯度复杂 → loss 震荡 | 仅微调关键模块（如 q/v 或 attention），任务复杂可加 FFN |
| 样本量 | 样本太少 → 易欠拟合 → loss 下降慢 | 样本太大 → 小 α / r 可能不足 →训练慢 | 小样本适当增加 dropout 或降低 α / r |