别再乱用Adam了！PyTorch里AdamW的正确打开方式（附代码示例）

别再乱用Adam了PyTorch里AdamW的正确打开方式附代码示例深度学习训练过程中优化器的选择往往决定了模型能否快速收敛到理想状态。许多开发者习惯性地使用torch.optim.Adam却忽略了其内置权重衰减机制可能带来的隐患。本文将揭示Adam优化器的这一隐藏陷阱并展示如何通过AdamW实现更精准的正则化控制。1. 为什么Adam的权重衰减会出问题当你在PyTorch中写下optim.Adam(params, lr0.001, weight_decay0.01)时可能不知道这个看似标准的操作正在引入一个微妙但重要的问题。Adam将权重衰减与梯度更新耦合在一起导致L2正则化的效果大打折扣。具体来说Adam中的权重衰减实现方式会导致两个主要问题动量干扰权重衰减项会被Adam的动量计算所影响使得正则化强度与学习率产生不必要的关联自适应缩放失衡由于Adam对不同参数使用不同的学习率缩放因子权重衰减的效果也会因此变得不均匀# 典型的问题用法示例 optimizer torch.optim.Adam(model.parameters(), lr0.001, weight_decay0.01) # 这种用法会导致不理想的正则化效果2. AdamW的解决方案解耦权重衰减AdamWAdam with Weight decay通过将权重衰减与梯度更新过程分离解决了上述问题。其核心思想是独立处理权重衰减不再将权重衰减混入梯度计算保持自适应学习率仍然利用Adam的自适应矩估计优势这种解耦带来的实际优势包括特性AdamAdamW权重衰减时机梯度计算时参数更新时动量影响受动量干扰独立处理正则化效果不稳定稳定可控# 正确的AdamW用法 optimizer torch.optim.AdamW(model.parameters(), lr0.001, weight_decay0.01) # 此时权重衰减会按预期工作3. 实战对比Adam vs AdamW让我们通过一个具体的训练案例来观察两者的差异。我们将使用CIFAR-10数据集训练一个简单的CNN模型比较两种优化器的表现。3.1 实验设置import torch import torchvision from torch import nn, optim # 准备数据 transform torchvision.transforms.Compose([ torchvision.transforms.ToTensor(), torchvision.transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) trainset torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform) trainloader torch.utils.data.DataLoader(trainset, batch_size128, shuffleTrue) # 定义简单模型 class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(3, 32, 3, padding1) self.conv2 nn.Conv2d(32, 64, 3, padding1) self.fc nn.Linear(64 * 8 * 8, 10) def forward(self, x): x nn.functional.relu(self.conv1(x)) x nn.functional.max_pool2d(x, 2) x nn.functional.relu(self.conv2(x)) x nn.functional.max_pool2d(x, 2) x x.view(-1, 64 * 8 * 8) return self.fc(x) model SimpleCNN()3.2 训练过程对比def train_with_optimizer(optimizer_class, epochs10): model SimpleCNN().cuda() criterion nn.CrossEntropyLoss() optimizer optimizer_class(model.parameters(), lr0.001, weight_decay0.01) losses [] for epoch in range(epochs): running_loss 0.0 for i, (inputs, labels) in enumerate(trainloader): inputs, labels inputs.cuda(), labels.cuda() optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() epoch_loss running_loss / len(trainloader) losses.append(epoch_loss) print(fEpoch {epoch1}, Loss: {epoch_loss:.4f}) return losses # 分别用Adam和AdamW训练 adam_losses train_with_optimizer(torch.optim.Adam) adamw_losses train_with_optimizer(torch.optim.AdamW)3.3 结果分析经过10个epoch的训练后我们通常会观察到Adam初期损失下降较快但后期可能出现波动测试集准确率提升有限AdamW损失曲线更平滑最终测试准确率通常比Adam高1-3个百分点提示在实际项目中这种差异在大模型上会更加明显特别是当训练数据有限时AdamW的正则化优势会更为突出。4. 高级技巧与最佳实践4.1 权重衰减参数的调整不同于AdamAdamW中的weight_decay参数需要更精细的调整对于大型模型参数量100M建议从1e-4开始尝试小型模型可以尝试1e-3到1e-2的范围视觉任务通常需要比NLP任务更小的weight_decay# 分层设置weight_decay的示例 optimizer torch.optim.AdamW([ {params: model.conv_parameters(), weight_decay: 1e-4}, {params: model.fc_parameters(), weight_decay: 1e-3} ], lr0.001)4.2 学习率与权重衰减的配合AdamW中学习率和权重衰减的关系更为明确这里有一些经验法则当增大batch size时按比例增加weight_decay使用学习率warmup时可以考虑同时warmup weight_decay在训练后期可以逐步减小weight_decay的值4.3 与其他正则化方法的配合AdamW可以与以下技术良好配合Dropout不需要特殊调整BatchNorm注意BN层的gamma参数通常不需要权重衰减Label Smoothing与AdamW形成互补的正则化效果# 排除BN层参数的正则化示例 def get_optimizer(model): decay [] no_decay [] for name, param in model.named_parameters(): if bn in name or bias in name: no_decay.append(param) else: decay.append(param) return torch.optim.AdamW([ {params: decay, weight_decay: 0.01}, {params: no_decay, weight_decay: 0.0} ], lr0.001)在实际项目中从Adam切换到AdamW通常只需要修改一行代码但这一改变往往能带来更稳定的训练过程和更好的模型性能。特别是在训练Transformer架构或大型CNN时AdamW的优势会更加明显。