4.3 LightGBM 模型训练与参数调优

4.3 LightGBM 模型训练与参数调优

4.3 LightGBM 模型训练与参数调优详解

LightGBM (Light Gradient Boosting Machine) 是一种高效的梯度提升框架，因其训练速度快、内存占用低、准确率高等优点，在机器学习竞赛和工业界得到广泛应用。模型训练与参数调优是LightGBM应用中至关重要的环节，直接影响模型的性能和泛化能力。本节将深入探讨LightGBM的模型训练流程和参数调优策略，并通过代码实践进行详细讲解。

4.3.1 LightGBM 模型训练基础

模型训练是LightGBM应用的第一步，其目标是利用给定的训练数据学习到一个高性能的模型。一个标准的LightGBM模型训练流程通常包含以下几个关键步骤：

1. 数据准备与预处理: 高质量的数据是模型训练的基础。数据准备阶段包括数据收集、清洗、转换和特征工程等环节。

   • 数据清洗: 处理缺失值、异常值、重复值等，保证数据质量。

   • 特征工程: 基于业务理解和数据分析，创建新的特征，提升模型对数据的理解能力。例如，可以进行特征缩放、编码、组合等操作。

   • 数据集划分: 将数据集划分为训练集、验证集和测试集。

     • 训练集: 用于模型训练，模型从中学习规律。

     • 验证集: 用于模型调优，监控训练过程，防止过拟合，并选择最优参数。

     • 测试集: 用于最终评估模型性能，衡量模型的泛化能力。

2. LightGBM 模型初始化: 在训练之前，需要初始化LightGBM模型，配置基本的模型参数。这包括选择boosting类型、目标函数、评估指标等。

   • Boosting 类型 (boosting_type): 决定了使用的boosting算法，常见的有 gbdt (Gradient Boosting Decision Tree), dart (Dropouts meet Multiple Additive Regression Trees), goss (Gradient-based One-Side Sampling), rf (Random Forest)。gbdt 是默认且常用的选择，dart 和 goss 可以加速训练，rf 可以用于构建随机森林模型。

   • 目标函数 (objective): 定义了模型需要优化的目标，取决于任务类型。

     • 回归任务: regression_l2 (L2 loss), regression_l1 (L1 loss), huber (Huber loss), fair (Fair loss), poisson (Poisson regression), quantile (Quantile regression)。

     • 二分类任务: binary (logistic regression)。

     • 多分类任务: multiclass (softmax), multiclassova (One-vs-All softmax)。

     • 排序任务: lambdarank (LambdaMART)。

   • 评估指标 (metric): 用于在训练过程中监控模型性能，并在验证集上选择最佳模型。常见的评估指标包括：

     • 回归任务: l2, l1, rmse (Root Mean Squared Error), mae (Mean Absolute Error)。

     • 二分类任务: binary_logloss (binary log-loss), auc (Area Under the ROC Curve), binary_error (binary classification error)。

     • 多分类任务: multi_logloss (multiclass log-loss), multi_error (multiclass classification error), auc_mu (AUC for One-vs-Rest with macro average)。

3. 模型训练过程: 使用训练数据和配置好的参数，训练LightGBM模型。训练过程是一个迭代优化的过程，LightGBM会不断地构建新的决策树，并将其加入到模型中，以减小预测误差。

   • Early Stopping: 为了防止过拟合，通常会使用 early stopping 机制。在训练过程中，模型会在验证集上评估性能，如果验证集上的性能在一定轮数内没有提升，训练会提前停止。early_stopping_rounds 参数控制了 early stopping 的轮数。

4. 模型评估与验证: 训练完成后，需要使用验证集和测试集评估模型的性能。

   • 验证集评估: 在训练过程中，验证集用于监控模型性能，并辅助参数调优。

   • 测试集评估: 测试集用于最终评估模型的泛化能力，得到模型在未知数据上的性能指标。

模型训练流程 Mermaid 图：

代码实践 - 模型训练基础:

import lightgbm as lgb
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_regression
from sklearn.metrics import mean_squared_error
# 1. 数据准备与预处理 (使用 make_regression 生成示例数据)
X, y = make_regression(n_samples=1000, n_features=20, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=42) # 从训练集中划分验证集
# 2. LightGBM 模型初始化
params = {
    'objective': 'regression_l2',  # 回归任务
    'metric': 'rmse',             # 评估指标为 RMSE
    'boosting_type': 'gbdt',      # boosting 类型为 GBDT
    'num_leaves': 31,             # 叶子节点数
    'learning_rate': 0.05,        # 学习率
    'feature_fraction': 0.9        # 特征采样率
}
# 3. 数据集准备 (LightGBM 的 Dataset 格式)
lgb_train = lgb.Dataset(X_train, y_train)
lgb_val = lgb.Dataset(X_val, y_val, reference=lgb_train) # 验证集需要指定 reference
# 4. 模型训练
gbm = lgb.train(params,
                lgb_train,
                num_boost_round=100,       # 迭代次数
                valid_sets=[lgb_train, lgb_val], # 指定验证集
                callbacks=[lgb.early_stopping(stopping_rounds=10)]) # Early stopping
# 5. 模型评估
y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration) # 使用最佳迭代次数进行预测
rmse = mean_squared_error(y_test, y_pred, squared=False)
print(f'RMSE on test set: {rmse}')
​

代码详解:

• 数据准备: 使用 sklearn.datasets.make_regression 生成回归任务的示例数据，并使用 train_test_split 划分数据集为训练集、验证集和测试集。

• 模型初始化: 定义了 params 字典，包含了模型的基本参数，如目标函数、评估指标、boosting 类型、叶子节点数、学习率和特征采样率。

• 数据集格式: LightGBM 使用 lgb.Dataset 格式来加载数据，这可以优化内存使用和数据加载速度。验证集需要通过 reference 参数指定参考训练集，以保证特征维度一致。

• 模型训练: 使用 lgb.train 函数进行模型训练。

  • params: 模型参数字典。

  • lgb_train: 训练数据集。

  • num_boost_round: 最大迭代次数。

  • valid_sets: 验证数据集列表，用于 early stopping 和监控模型性能。

  • callbacks: 回调函数列表，lgb.early_stopping 用于启用 early stopping，stopping_rounds 参数指定了 early stopping 的轮数。

• 模型评估: 使用训练好的模型 gbm 对测试集进行预测，并使用 mean_squared_error 计算 RMSE 评估指标。gbm.best_iteration 可以获取 early stopping 得到的最佳迭代次数，用于预测，避免使用过多的迭代次数导致过拟合。

4.3.2 LightGBM 参数调优详解

参数调优是提升LightGBM模型性能的关键步骤。LightGBM 提供了丰富的参数，可以控制模型的各个方面。参数可以分为以下几类：

1. 核心参数: 这些参数直接影响模型的性能和复杂度，是调优的重点。

   • objective: 目标函数，根据任务类型选择合适的 objective，例如回归、分类、排序等。

   • metric: 评估指标，用于模型评估和 early stopping。

   • boosting_type: boosting 类型，gbdt, dart, goss, rf。通常 gbdt 是一个好的起点。

   • num_leaves: 单个树的最大叶子节点数。控制模型的复杂度，值越大模型越复杂，容易过拟合。

   • max_depth: 树的最大深度。限制树的深度，防止模型过于复杂。

   • learning_rate: 学习率，控制每次迭代更新的步长。较小的学习率需要更多的迭代次数，但可以更精细地逼近最优解，但也容易陷入局部最优。

   • n_estimators (或 num_boost_round): 总的迭代次数，即 boosting 轮数。

   • feature_fraction (或 subsample_feature): 特征采样率，每次迭代随机选择部分特征进行训练，防止过拟合，加速训练。

   • bagging_fraction (或 subsample): 数据采样率，每次迭代随机选择部分数据进行训练，类似于 bagging，防止过拟合，加速训练。

   • bagging_freq: bagging 的频率，每隔多少轮进行一次 bagging。

   • min_child_samples (或 min_data_in_leaf): 叶子节点包含的最少样本数。限制叶子节点的最小样本数，防止模型学习到噪声数据。

   • min_child_weight (或 min_sum_hessian_in_leaf): 叶子节点最小的 hessian 和。限制叶子节点的最小权重和，防止模型学习到不重要的分支。

   • reg_alpha (L1 regularization): L1 正则化系数，用于控制模型复杂度，防止过拟合。

   • reg_lambda (L2 regularization): L2 正则化系数，用于控制模型复杂度，防止过拟合。

2. 控制训练过程的参数: 这些参数影响训练过程的细节，例如 early stopping, verbose 等。

   • early_stopping_rounds: early stopping 的轮数，当验证集指标在 early_stopping_rounds 轮内没有提升时，训练提前停止。

   • verbose: 控制训练过程信息的输出级别，值越大输出信息越多。可以设置为 -1 (静默模式), 0 (只显示 warning 信息), > 0 (显示更多信息)。

   • n_jobs: 并行训练的线程数，-1 表示使用所有 CPU 核心。

3. IO 参数: 控制数据输入输出和模型保存的参数。

   • data_random_seed: 数据采样的随机种子，保证结果可复现。

   • boosting_seed: boosting 过程的随机种子，保证结果可复现。

   • drop_seed: dart 类型的 dropout 随机种子。

   • model_output_file: 模型保存的文件路径。

   • model_input_file: 加载已训练模型的路径。

参数调优策略:

参数调优是一个迭代的过程，通常采用以下策略：

1. 确定调优目标: 首先明确调优的目标，例如提升 AUC, 降低 RMSE 等。

2. 选择合适的调优方法: 常用的调优方法包括：

   • 手动调优: 根据经验和参数的含义，手动调整参数。

   • 网格搜索 (Grid Search): 在预定义的参数网格中，遍历所有参数组合，寻找最优参数。

   • 随机搜索 (Random Search): 在预定义的参数空间中，随机采样参数组合进行搜索。

   • 贝叶斯优化 (Bayesian Optimization): 使用贝叶斯优化算法，根据历史评估结果，智能地选择下一组参数进行评估，效率更高。

   • 自动调参工具: 例如 Optuna, Hyperopt 等，可以自动化参数搜索过程。

3. 分阶段调优: 通常先调整对模型性能影响较大的核心参数，再逐步细调其他参数。

   • Step 1: 调整 num_leaves 和 max_depth: 这两个参数控制树的复杂度，先找到一个合适的复杂度范围。通常 num_leaves 可以设置为 2 的幂次方，例如 31, 63, 127, 255 等。max_depth 可以限制树的深度，防止过拟合。

   • Step 2: 调整 learning_rate 和 n_estimators: 学习率和迭代次数是影响模型收敛速度和精度的重要参数。通常先设置一个较大的学习率 (例如 0.1)，然后通过 early stopping 找到合适的 n_estimators。再逐步减小学习率，并相应增加 n_estimators，进行更精细的调优。

   • Step 3: 调整 min_child_samples, min_child_weight: 这两个参数控制叶子节点的样本数和权重，用于防止过拟合。

   • Step 4: 调整 feature_fraction, bagging_fraction, bagging_freq: 这些参数用于特征采样和数据采样，可以加速训练，并防止过拟合。

   • Step 5: 调整 reg_alpha, reg_lambda: L1 和 L2 正则化参数，进一步控制模型复杂度，防止过拟合。

参数调优流程 Mermaid 图：

代码实践 - 网格搜索参数调优:

import lightgbm as lgb
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import make_classification
# 1. 数据准备与预处理 (使用 make_classification 生成示例数据)
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 2. LightGBM 模型初始化 (使用 LGBMClassifier)
gbm = lgb.LGBMClassifier(objective='binary', metric='auc', boosting_type='gbdt', random_state=42)
# 3. 定义参数网格
param_grid = {
    'num_leaves': [31, 63, 127],
    'learning_rate': [0.01, 0.05, 0.1],
    'n_estimators': [100, 200, 300],
    'feature_fraction': [0.8, 0.9, 1.0],
    'bagging_fraction': [0.8, 0.9, 1.0],
    'bagging_freq': [1, 5, 10]
}
# 4. 网格搜索
grid_search = GridSearchCV(estimator=gbm, param_grid=param_grid, scoring='roc_auc', cv=3, n_jobs=-1, verbose=1)
grid_search.fit(X_train, y_train)
# 5. 输出最佳参数和最佳得分
print(f'Best parameters found by grid search are: {grid_search.best_params_}')
print(f'Best AUC score found by grid search is: {grid_search.best_score_}')
# 6. 使用最佳参数训练最终模型 (可选)
best_gbm = grid_search.best_estimator_
y_pred_proba = best_gbm.predict_proba(X_test)[:, 1]
auc = roc_auc_score(y_test, y_pred_proba)
print(f'AUC on test set with best parameters: {auc}')
​

代码详解:

• 数据准备: 使用 sklearn.datasets.make_classification 生成二分类任务的示例数据。

• 模型初始化: 使用 lgb.LGBMClassifier 初始化 LightGBM 分类器，并设置 objective 和 metric。

• 参数网格: 定义 param_grid 字典，包含了需要搜索的参数及其取值范围。

• 网格搜索: 使用 GridSearchCV 进行网格搜索。

  • estimator: LightGBM 模型。

  • param_grid: 参数网格。

  • scoring: 评估指标，这里使用 roc_auc。

  • cv: 交叉验证折数，这里使用 3 折交叉验证。

  • n_jobs: 并行运行的作业数，-1 表示使用所有 CPU 核心。

  • verbose: 控制输出信息级别。

• 输出结果: grid_search.best_params_ 获取最佳参数组合，grid_search.best_score_ 获取最佳得分。

• 最终模型训练 (可选): 可以使用 grid_search.best_estimator_ 获取使用最佳参数训练好的模型，并用于测试集评估。

4.3.3 总结与最佳实践

LightGBM 模型训练与参数调优是一个系统性的过程，需要结合数据特点、任务类型和调优目标进行。以下是一些最佳实践建议：

• 深入理解数据: 在模型训练之前，充分理解数据，进行有效的数据预处理和特征工程，是提升模型性能的基础。

• 选择合适的参数范围: 在参数调优之前，根据参数的含义和经验，预先设定合理的参数范围，可以提高调优效率。

• 优先调整核心参数: 优先调整对模型性能影响较大的核心参数，例如 num_leaves, learning_rate, n_estimators 等。

• 使用验证集和 early stopping: 在训练过程中，务必使用验证集监控模型性能，并使用 early stopping 防止过拟合。

• 尝试不同的调优方法: 根据实际情况选择合适的调优方法，例如网格搜索、随机搜索、贝叶斯优化等。对于大规模数据集和复杂模型，贝叶斯优化可能更高效。

• 持续迭代优化: 参数调优不是一次性的工作，需要持续迭代优化，不断改进模型性能。

通过深入理解LightGBM的模型训练流程和参数调优策略，并结合代码实践，可以有效地构建高性能的LightGBM模型，并在实际应用中取得良好的效果。