XGBoost调参进阶：用特征权重(feature_weights)和样本权重(scale_pos_weight)搞定不平衡数据

XGBoost权重调参实战用特征与样本双重加权破解不平衡分类难题金融风控中1%的欺诈交易可能造成99%的损失广告点击数据里正样本占比往往不足5%。面对这些典型的不平衡分类场景仅靠调整阈值或过采样难以从根本上解决问题。XGBoost提供的feature_weights和scale_pos_weight参数就像精密的天平让我们能同时调整特征和样本两个维度的权重分配。1. 不平衡数据的双重挑战与加权原理真实业务场景中的不平衡问题从来不是单一维度的。信用卡欺诈检测不仅要应对正负样本1:1000的悬殊比例还需要特别关注境外交易金额这类高风险特征医疗诊断数据中罕见病例占比可能不足3%但某些关键指标如肿瘤标记物数值的预测价值远高于常规体检参数。XGBoost的加权机制通过修改损失函数中的权重项来实现# 损失函数中的加权项示意非实际公式 weighted_loss Σ [sample_weight * loss(y_true, y_pred)] Σ [feature_weight * regularization]其中scale_pos_weight直接影响正样本在损失函数中的权重系数而feature_weights则通过修改特征分裂时的增益计算来影响树结构生长方向。两者协同工作时模型会更频繁地使用高权重特征进行节点分裂对少数类样本预测错误施加更大惩罚在特征重要性计算中自动体现人工先验知识注意feature_weights需要与importance_type参数配合使用当importance_typegain时效果最明显2. 样本权重配置从基础配比到动态调整设置scale_pos_weight的经典方法是使用负样本数/正样本数的比值# 计算基础样本权重 neg_pos_ratio np.sum(y0) / np.sum(y1) model XGBClassifier(scale_pos_weightneg_pos_ratio)但在实际业务中我们可能需要更精细的调整策略场景类型推荐权重系数理论依据欺诈检测1.5×neg_pos_ratio漏判成本远高于误判医疗诊断2×neg_pos_ratio假阴性可能导致生命危险广告点击0.8×neg_pos_ratio适当容忍误点击节省展示成本进阶技巧是使用样本动态加权根据预测难度调整权重def dynamic_weight(y_true, y_pred): pred_prob 1/(1np.exp(-y_pred)) # 对难以预测的正样本增加权重 hard_pos_mask (y_true1) (pred_prob0.3) return np.where(hard_pos_mask, 3.0, 1.0) model.fit(X, y, sample_weightdynamic_weight)3. 特征权重实战将业务知识注入模型假设我们在金融风控场景中已通过业务分析确定以下特征重要性排序最近1小时交易金额权重0.4设备指纹匹配度权重0.3地理位置风险评分权重0.2用户历史行为分权重0.1通过feature_weights参数注入这些先验知识feature_weights [0.4, 0.3, 0.2, 0.1] # 与特征顺序一致 model XGBClassifier( feature_weightsfeature_weights, importance_typegain )验证特征权重效果的方法# 训练后对比人工权重与模型学到的特征重要性 plt.figure(figsize(10,6)) plt.barh(features, model.feature_importances_) plt.title(实际特征重要性 vs 初始权重)典型问题解决方案权重失效检查是否设置了importance_typegain过拟合适当降低权重极差如从[0.9,0.1]改为[0.6,0.4]特征工程冲突权重应用在原始特征而非衍生特征上4. 评估指标选择与参数联合优化不平衡分类需要特别设计的评估指标XGBoost支持三种自定义方式内置指标aucpr(PR曲线下面积)比常规AUC更适合不平衡数据Scikit-learn指标通过make_scorer封装f1、召回率等完全自定义实现返回(指标名, 数值)的函数from sklearn.metrics import make_scorer def weighted_f1(y_true, y_pred): return f1_score(y_true, y_pred0.5, sample_weightdynamic_weight(y_true,y_pred)) custom_eval make_scorer(weighted_f1, needs_probaFalse) param_grid { scale_pos_weight: [1, 3, 5, 7], feature_weights: [ None, [0.3,0.3,0.2,0.2], [0.5,0.3,0.1,0.1] ] } search GridSearchCV(model, param_grid, scoringcustom_eval)参数优化时的黄金组合先单独调scale_pos_weight找到baseline固定样本权重后优化feature_weights最后联合微调其他超参数5. 实战案例信用卡欺诈检测系统优化某银行数据集特征正负样本比1:584关键特征hourly_amount(每小时交易额), geo_risk(地理位置风险分)优化前后的性能对比指标原始模型仅样本加权双重加权F1-Score0.320.470.63召回率0.250.680.82误杀率0.010.050.03推理耗时(ms)121518实现代码关键片段# 双重加权配置 final_model XGBClassifier( scale_pos_weight584*1.2, # 增加20%惩罚权重 feature_weights[0.5, 0.3, 0.2], # 对应三个关键特征 eval_metricaucpr, early_stopping_rounds20 ) # 自定义验证指标 eval_history final_model.fit( X_train, y_train, eval_set[(X_val, y_val)], verboseTrue )部署时的注意事项在线服务需要预计算特征权重向量监控系统需特别关注少数类指标波动定期重新校准权重系数建议季度更新