终极Mac软件管理指南：告别复杂命令，拥抱一键操作
2025/12/25 5:07:05
机器学习中的正则化、度量分析与性能评估
1. 权重是否真的会趋近于零
在机器学习中，观察权重如何趋近于零是很有启发性的。对于一个具有两个特征的人工数据集，采用 ℓ2 正则化（γ = 10⁻³，λ = 0.1），经过 1000 个训练周期后，权重 w₁₂⁵₃ 会迅速下降至接近零，1000 个周期后的权重值为 2 · 10⁻²¹，实际上可以认为是零。
| 层 | λ = 0 时权重小于 1e - 3 的百分比 | λ = 3 时权重小于 1e - 3 的百分比 |
|---|---|---|
| 1 | 0.0 | 52.7 |
| 2 | 0.25 | 53.8 |
| 3 | 0.75 | 46.3 |
| 4 | 0.25 | 45.3 |
| 5 | 0.0 | 60.0 |
从表格数据可以看出，使用正则化（λ = 3）时，各层权重小于 1e - 3 的百分比显著增加，这表明正则化有助于使权重趋近于零。
权重趋近于零