第三章：LightGBM 参数详解

文档摘要

第三章：LightGBM 参数详解第三章：LightGBM 参数详解 LightGBM (Light Gradient Boosting Machine) 是一种高效的梯度提升框架，因其训练速度快、内存占用低、准确率高等优点，在机器学习领域，尤其是 Kaggle 竞赛中备受欢迎。然而，要充分发挥 LightGBM 的性能，理解和合理调整其参数至关重要。本章将对 LightGBM 的核心参数进行详细解读，并通过代码实践和可视化图表，帮助读者深入掌握参数调优技巧。 3.1 LightGBM 参数概览 LightGBM 的参数体系庞大而灵活，可以分为以下几个主要类别：核心参数 (Core Parameters): 控制模型核心结构和算法行为，例如 boosting 类型、学习率、树的复杂度等。

第三章：LightGBM 参数详解

LightGBM (Light Gradient Boosting Machine) 是一种高效的梯度提升框架，因其训练速度快、内存占用低、准确率高等优点，在机器学习领域，尤其是 Kaggle 竞赛中备受欢迎。然而，要充分发挥 LightGBM 的性能，理解和合理调整其参数至关重要。本章将对 LightGBM 的核心参数进行详细解读，并通过代码实践和可视化图表，帮助读者深入掌握参数调优技巧。

3.1 LightGBM 参数概览

LightGBM 的参数体系庞大而灵活，可以分为以下几个主要类别：

核心参数 (Core Parameters): 控制模型核心结构和算法行为，例如 boosting 类型、学习率、树的复杂度等。
训练参数 (Training Parameters): 影响训练过程的参数，例如数据集、验证集、早停策略、特征子采样等。
IO 参数 (IO Parameters): 控制输入输出和数据处理相关的参数，例如数据格式、特征名称、保存模型路径等。
目标函数参数 (Objective Function Parameters): 与选择的目标函数相关的参数，例如损失函数、评价指标等。
网络参数 (Network Parameters) (适用于 DART 模式): 当使用 DART (Dropouts meet Multiple Additive Regression Trees) boosting 类型时，用于控制 dropout 行为的网络参数。

理解这些参数及其相互作用，是构建高效 LightGBM 模型的关键。接下来，我们将逐一深入探讨各个类别的核心参数。

3.2 核心参数 (Core Parameters)

核心参数是 LightGBM 模型的基础，它们直接决定了模型的学习方式和性能。

3.2.1 `boosting_type`

类型: enum
默认值: 'gbdt'
可选值: 'gbdt', 'dart', 'goss', 'rf'
描述: 指定 boosting 的类型，即使用的提升算法。
- 'gbdt' (Gradient Boosting Decision Tree): 传统的梯度提升决策树，也是默认选项。性能良好且常用。
- 'dart' (Dropouts meet Multiple Additive Regression Trees): 引入 dropout 技术的 GBDT，可以提高模型的泛化能力，尤其是在小数据集上。但训练时间通常更长。
- 'goss' (Gradient-based One-Side Sampling): 基于梯度的单边采样，旨在减少训练数据量，加速训练过程，同时保持较高的精度。适合处理大规模数据集。
- 'rf' (Random Forest): 随机森林。虽然名为 Random Forest，但它仍然是基于梯度提升框架实现的，与传统的 Random Forest 有些不同。

代码实践:


import lightgbm as lgb
# 使用 GBDT
gbdt_params = {'boosting_type': 'gbdt', 'objective': 'binary', 'metric': 'binary_logloss'}
# 使用 DART
dart_params = {'boosting_type': 'dart', 'objective': 'binary', 'metric': 'binary_logloss', 'drop_rate': 0.1, 'skip_drop': 0.5}
# 使用 GOSS
goss_params = {'boosting_type': 'goss', 'objective': 'binary', 'metric': 'binary_logloss', 'top_rate': 0.2, 'other_rate': 0.1}
# 使用 RF
rf_params = {'boosting_type': 'rf', 'objective': 'binary', 'metric': 'binary_logloss', 'bagging_fraction': 0.8, 'bagging_freq': 1}
# ... (后续训练代码，例如使用 lgb.Dataset, lgb.train)

Graph TD 图:

详解: boosting_type 是模型的基础架构选择。gbdt 通常是首选，因为它在大多数情况下表现良好。当数据集较小且容易过拟合时，可以尝试 dart。对于大规模数据集，goss 可以显著加速训练。rf 可以作为一种基线模型进行比较。

3.2.2 `num_leaves`

类型: int
默认值: 31
取值范围: 大于 0 的整数
描述: 控制每棵树的最大叶子节点数。叶子节点越多，树越复杂，模型容量越大，但也更容易过拟合。

代码实践:


params_small_leaves = {'num_leaves': 31, 'objective': 'binary', 'metric': 'binary_logloss'} # 默认值，相对简单模型
params_large_leaves = {'num_leaves': 127, 'objective': 'binary', 'metric': 'binary_logloss'} # 更复杂的模型
# ... (后续训练代码)

Graph TD 图:

详解: num_leaves 是控制树模型复杂度的关键参数。较小的 num_leaves 可以防止过拟合，但可能导致欠拟合。较大的 num_leaves 可以提高模型精度，但也更容易过拟合。通常需要通过交叉验证等方法找到合适的 num_leaves 值。

3.2.3 `max_depth`

类型: int
默认值: -1 (无限制)
取值范围: 大于等于 -1 的整数
描述: 控制树的最大深度。与 num_leaves 类似，也用于限制树的复杂度，防止过拟合。-1 表示不限制深度。

代码实践:


params_no_depth_limit = {'max_depth': -1, 'objective': 'binary', 'metric': 'binary_logloss'} # 无深度限制
params_depth_limit = {'max_depth': 7, 'objective': 'binary', 'metric': 'binary_logloss'} # 限制最大深度为 7
# ... (后续训练代码)

Graph TD 图:

详解: max_depth 和 num_leaves 都是限制树模型复杂度的重要参数。通常情况下，num_leaves 对模型复杂度的影响更大，也更常用。max_depth 可以作为辅助参数，或者在某些特定场景下使用。建议优先调整 num_leaves。

3.2.4 `learning_rate` (`eta`)

类型: float
默认值: 0.1
取值范围: (0, 1]
描述: 学习率，控制每次迭代更新模型权重的步长。较小的学习率需要更多的迭代次数才能收敛，但通常能获得更好的精度和泛化能力。

代码实践:


params_high_lr = {'learning_rate': 0.1, 'objective': 'binary', 'metric': 'binary_logloss'} # 默认学习率
params_low_lr = {'learning_rate': 0.01, 'objective': 'binary', 'metric': 'binary_logloss'} # 较低学习率
# ... (后续训练代码)

Graph TD 图:

详解: learning_rate 是最重要的参数之一。通常需要与 num_iterations (或 n_estimators) 结合调整。较小的学习率通常需要更大的迭代次数。常见的学习率取值范围是 0.01 到 0.2。

3.2.5 `num_iterations` (`n_estimators`, `n_rounds`)

类型: int
默认值: 100
取值范围: 大于 0 的整数
描述: boosting 迭代次数，即构建树的棵数。与学习率共同决定模型的训练程度。

代码实践:


params_small_iterations = {'num_iterations': 100, 'objective': 'binary', 'metric': 'binary_logloss'} # 默认迭代次数
params_large_iterations = {'num_iterations': 500, 'objective': 'binary', 'metric': 'binary_logloss'} # 更多迭代次数
# ... (后续训练代码)

Graph TD 图:

详解: num_iterations 和 learning_rate 需要协同调整。通常情况下，降低学习率需要增加迭代次数，反之亦然。可以使用早停策略 (Early Stopping) 来自动确定最佳迭代次数。

3.2.6 `objective`

类型: string 或 callable
默认值: 'regression'
可选值 (常见): 'regression', 'binary', 'multiclass', 'lambdarank', 等
描述: 指定学习任务的目标函数。决定了模型要解决的问题类型。
- 'regression': 回归任务。
- 'binary': 二分类任务。
- 'multiclass': 多分类任务。
- 'lambdarank': 排序任务 (Listwise Learning to Rank)。

代码实践:


params_regression = {'objective': 'regression', 'metric': 'l2'} # 回归任务
params_binary = {'objective': 'binary', 'metric': 'binary_logloss'} # 二分类任务
params_multiclass = {'objective': 'multiclass', 'num_class': 3, 'metric': 'multi_logloss'} # 三分类任务
# ... (后续训练代码)

Graph TD 图:

详解: objective 参数必须根据实际问题选择。不同的目标函数对应不同的损失函数和优化策略。对于多分类任务，还需要设置 num_class 参数，指定类别数量。

3.2.7 `metric`

类型: string 或 list of strings 或 callable
默认值: 根据 objective 自动选择
可选值 (常见): 'l2', 'l1', 'rmse', 'auc', 'binary_logloss', 'multi_logloss', 'ndcg', 等
描述: 评估指标，用于在训练过程中监控模型性能，以及在早停策略中使用。可以指定多个指标。

代码实践:


params_auc_metric = {'objective': 'binary', 'metric': 'auc'} # 使用 AUC 作为评估指标
params_multi_metrics = {'objective': 'binary', 'metric': ['binary_logloss', 'auc']} # 使用多个评估指标
# ... (后续训练代码)

Graph TD 图:

详解: metric 参数应该根据实际问题和评估需求选择。选择合适的评估指标对于模型优化至关重要。例如，对于不平衡数据集，auc 通常比 binary_logloss 更合适。

3.3 训练参数 (Training Parameters)

训练参数主要控制训练过程的细节，例如数据处理、正则化、早停等。

3.3.1 `data` 和 `valid_sets`

类型: Dataset 对象
描述: data 参数指定训练数据集，valid_sets 参数指定验证数据集。LightGBM 使用 Dataset 对象来高效管理数据。

代码实践:


import pandas as pd
from sklearn.model_selection import train_test_split
# 假设 X, y 是特征和标签
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)
lgb_train = lgb.Dataset(X_train, y_train)
lgb_val = lgb.Dataset(X_val, y_val, reference=lgb_train) # reference 加速训练
params = {'objective': 'binary', 'metric': 'binary_logloss'}
gbm = lgb.train(params,
                lgb_train,
                num_boost_round=100,
                valid_sets=lgb_val,
                early_stopping_rounds=10)

Graph TD 图:

详解: data 和 valid_sets 是训练 LightGBM 模型的必要输入。使用验证集可以监控模型在未见过数据上的性能，并进行早停。reference 参数可以加速训练，尤其是在验证集与训练集结构相似时。

3.3.2 `early_stopping_rounds`

类型: int
默认值: None
取值范围: 大于 0 的整数
描述: 早停轮数。当验证集上的评估指标在 early_stopping_rounds 轮迭代后没有提升时，模型训练将提前停止。防止过拟合，并节省训练时间。

代码实践 (见 3.3.1 代码示例)

Graph TD 图:

详解: early_stopping_rounds 是非常重要的参数，可以有效防止过拟合，并自动找到最佳迭代次数。通常需要配合 valid_sets 和 metric 参数使用。

3.3.3 `feature_fraction` (`sub_feature`, `colsample_bytree`)

类型: float
默认值: 1.0
取值范围: (0, 1]
描述: 特征子采样比例。每次迭代 (构建每棵树) 时，随机选择一部分特征进行训练。可以加速训练，并降低过拟合风险。

代码实践:


params_feature_fraction = {'feature_fraction': 0.8, 'objective': 'binary', 'metric': 'binary_logloss'} # 每次迭代使用 80% 的特征
# ... (后续训练代码)

Graph TD 图:

详解: feature_fraction 类似于 Random Forest 中的特征随机选择。可以有效降低模型方差，提高泛化能力。

3.3.4 `bagging_fraction` (`subsample`) 和 `bagging_freq` (`subsample_freq`)

类型: bagging_fraction: float, bagging_freq: int
默认值: bagging_fraction: 1.0, bagging_freq: 0
取值范围: bagging_fraction: (0, 1], bagging_freq: 大于等于 0 的整数
描述: 数据子采样 (Bagging)。bagging_fraction 指定每次迭代随机选择的数据比例，bagging_freq 指定 Bagging 的频率 (每隔多少轮进行一次 Bagging)。

代码实践:


params_bagging = {'bagging_fraction': 0.8, 'bagging_freq': 5, 'objective': 'binary', 'metric': 'binary_logloss'} # 每 5 轮迭代进行一次 Bagging，使用 80% 的数据
# ... (后续训练代码)

Graph TD 图:

详解: Bagging 技术可以降低模型方差，提高泛化能力。bagging_fraction 控制采样比例，bagging_freq 控制采样频率。通常需要同时调整这两个参数。

3.3.5 `lambda_l1` (`reg_alpha`) 和 `lambda_l2` (`reg_lambda`)

类型: float
默认值: 0.0
取值范围: 大于等于 0 的浮点数
描述: L1 和 L2 正则化系数。用于控制模型复杂度，防止过拟合。

代码实践:


params_l1_l2_reg = {'lambda_l1': 0.1, 'lambda_l2': 0.1, 'objective': 'binary', 'metric': 'binary_logloss'} # 添加 L1 和 L2 正则化
# ... (后续训练代码)

Graph TD 图:

详解: L1 和 L2 正则化是常用的防止过拟合的技术。lambda_l1 控制 L1 正则化强度，lambda_l2 控制 L2 正则化强度。通常需要根据数据集大小和特征数量调整正则化系数。

3.3.6 `min_split_gain` (`gamma`)

类型: float
默认值: 0.0
取值范围: 大于等于 0 的浮点数
描述: 最小分裂增益。只有当分裂带来的增益大于 min_split_gain 时，节点才会被分裂。用于控制树的生长，防止过拟合。

代码实践:


params_min_split_gain = {'min_split_gain': 0.1, 'objective': 'binary', 'metric': 'binary_logloss'} # 设置最小分裂增益
# ... (后续训练代码)

Graph TD 图:

详解: min_split_gain 可以控制树的生长，避免过度拟合训练数据中的噪声。较高的 min_split_gain 值会生成更简单的树。

3.3.7 `min_child_samples` (`min_data_in_leaf`) 和 `min_child_weight` (`min_sum_hessian_in_leaf`)

类型: min_child_samples: int, min_child_weight: float
默认值: min_child_samples: 20, min_child_weight: 1e-3
取值范围: min_child_samples: 大于等于 0 的整数, min_child_weight: 大于等于 0 的浮点数
描述: 叶子节点最小样本数和最小权重和。用于限制叶子节点包含的样本数量和权重和，防止叶子节点过小，从而防止过拟合。

代码实践:


params_min_child = {'min_child_samples': 30, 'min_child_weight': 0.01, 'objective': 'binary', 'metric': 'binary_logloss'} # 调整叶子节点最小样本数和权重和
# ... (后续训练代码)

Graph TD 图:

详解: min_child_samples 和 min_child_weight 都是限制叶子节点大小的重要参数。min_child_samples 直接限制叶子节点包含的样本数量，min_child_weight 则考虑了样本的权重。

3.4 IO 参数 (IO Parameters)

IO 参数主要控制数据输入输出、日志输出等。

3.4.1 `data_random_seed`

类型: int
默认值: 42 (在 LightGBM 3.0 版本后取消默认值)
取值范围: 任意整数
描述: 数据随机种子。用于控制数据 shuffle 和特征选择的随机性，保证实验的可重复性。

代码实践:


params_random_seed = {'data_random_seed': 100, 'objective': 'binary', 'metric': 'binary_logloss'} # 设置数据随机种子
# ... (后续训练代码)

Graph TD 图:

详解: data_random_seed 对于实验的可重复性非常重要。在进行参数调优时，建议设置固定的随机种子，以便比较不同参数设置下的模型性能。

3.4.2 `verbose`

类型: int
默认值: 1
可选值: 小于 0: 静默模式, 0: 只显示错误信息, 大于 0: 显示 warning, info 等信息
描述: 控制日志输出的详细程度。

代码实践:


params_verbose_silent = {'verbose': -1, 'objective': 'binary', 'metric': 'binary_logloss'} # 静默模式，不输出任何日志
params_verbose_info = {'verbose': 1, 'objective': 'binary', 'metric': 'binary_logloss'} # 显示 info 信息
# ... (后续训练代码)

Graph TD 图:

详解: verbose 参数可以控制日志输出的详细程度。在调试阶段，可以将 verbose 设置为较大的值，以便查看详细的训练信息。在生产环境中，可以设置为较小的值或静默模式，以减少日志输出。

3.5 目标函数参数 (Objective Function Parameters)

目标函数参数是与 objective 参数选择的目标函数相关的参数。不同的目标函数有不同的参数。

3.5.1 `num_class` (用于 `objective='multiclass'`)

类型: int
描述: 多分类任务的类别数量。必须在 objective='multiclass' 时设置。

代码实践 (见 3.2.6 代码示例)

3.5.2 `sigmoid` (用于 `objective='binary'`)

类型: float
默认值: 1.0
描述: Sigmoid 函数的参数，用于调整二分类输出概率的比例。通常不需要修改。

3.5.3 `alpha` (用于 `objective='regression_l1'`, `'huber'`, `'fair'`, `'poisson'`, `'quantile'`, `'tweedie'`)

类型: float
描述: 不同目标函数的特定参数，例如 Huber 损失的 delta 参数，Quantile 损失的分位数等。具体含义取决于 objective 的选择。

详解: 目标函数参数是与特定目标函数相关的参数。需要查阅 LightGBM 文档，了解不同目标函数的可用参数及其含义。

3.6 网络参数 (Network Parameters) (适用于 `boosting_type='dart'`)

当 boosting_type 设置为 'dart' 时，可以使用以下网络参数来控制 dropout 行为。

3.6.1 `drop_rate`

类型: float
默认值: 0.1
取值范围: [0.0, 1.0]
描述: Dropout 率。每次迭代中，随机 dropout 一部分树。

3.6.2 `skip_drop`

类型: float
默认值: 0.5
取值范围: [0.0, 1.0]
描述: 跳过 dropout 的概率。在某些迭代中，可能不进行 dropout。

3.6.3 `max_drop`

类型: int
默认值: 50
描述: 最大 dropout 树的数量。限制每次迭代最多 dropout 的树的数量。

3.6.4 `uniform_drop`

类型: bool
默认值: False
描述: 是否均匀 dropout。如果为 True，则均匀 dropout 树，否则根据树的权重进行 dropout。

3.6.5 `xgboost_dart_mode`

类型: bool
默认值: False
描述: 是否使用 XGBoost DART 模式。如果为 True，则使用与 XGBoost DART 相同的 dropout 策略。

详解: 网络参数只在 boosting_type='dart' 时有效。这些参数控制 DART 算法的 dropout 行为，可以用于调整模型的泛化能力和训练速度。

3.7 参数调优实践建议

从核心参数开始: 优先调整 boosting_type, num_leaves, max_depth, learning_rate, num_iterations 等核心参数。
使用交叉验证: 使用 K 折交叉验证等方法评估不同参数组合的模型性能，选择最佳参数。
结合早停策略: 使用 early_stopping_rounds 自动确定最佳迭代次数，防止过拟合。
逐步精细化调优: 先进行粗略的参数搜索，找到大致的参数范围，再进行更精细的网格搜索或贝叶斯优化等方法。
关注过拟合和欠拟合: 根据训练集和验证集上的性能差异，判断模型是否过拟合或欠拟合，并调整参数进行改进。
理解参数间的相互作用: 某些参数之间存在相互作用，例如 num_leaves 和 max_depth，learning_rate 和 num_iterations。需要综合考虑这些参数的影响。

作者与出处

原作者：灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/191-lightgbm%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AE%97%E6%B3%95%E5%AE%9E%E6%88%98%E6%95%99%E7%A8%8B

整理：灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流

第三章：LightGBM 参数详解

文档摘要