第一章：LightGBM 基础与概述

文档摘要

第一章：LightGBM 基础与概述第一章：LightGBM 基础与概述 1.1 引言：高效梯度提升框架的需求在机器学习领域，梯度提升（Gradient Boosting）算法因其强大的预测能力和处理复杂数据集的能力而备受青睐。诸如 XGBoost、GBDT 等梯度提升框架在各种竞赛和实际应用中都取得了巨大的成功。然而，随着数据规模的爆炸式增长和对模型训练效率要求的不断提高，传统梯度提升框架在某些方面逐渐显现出局限性。传统的梯度提升决策树（GBDT）算法，例如基于预排序（pre-sorted）的算法，虽然精度较高，但在处理大规模数据时，其训练速度和内存消耗成为瓶颈。尤其是在高维度稀疏数据场景下，其效率会显著降低。

第一章：LightGBM 基础与概述

1.1 引言：高效梯度提升框架的需求

在机器学习领域，梯度提升（Gradient Boosting）算法因其强大的预测能力和处理复杂数据集的能力而备受青睐。诸如 XGBoost、GBDT 等梯度提升框架在各种竞赛和实际应用中都取得了巨大的成功。然而，随着数据规模的爆炸式增长和对模型训练效率要求的不断提高，传统梯度提升框架在某些方面逐渐显现出局限性。

传统的梯度提升决策树（GBDT）算法，例如基于预排序（pre-sorted）的算法，虽然精度较高，但在处理大规模数据时，其训练速度和内存消耗成为瓶颈。尤其是在高维度稀疏数据场景下，其效率会显著降低。为了解决这些问题，并进一步提升梯度提升算法的效率和性能，微软推出了 LightGBM (Light Gradient Boosting Machine) 框架。

LightGBM 旨在成为一个快速、高效、高性能的梯度提升框架。它在传统 GBDT 算法的基础上进行了多项创新性的改进，使其在保持甚至提升精度的同时，显著降低了训练时间和内存消耗，尤其擅长处理大规模数据集和高维度特征。

1.2 LightGBM 概述：核心特性与优势

LightGBM 是一种基于决策树算法的梯度提升框架，它由微软于 2017 年发布并开源。LightGBM 的 “Light” 体现在其轻量级和高效性上。它主要针对解决传统 GBDT 在大规模数据和高维度特征场景下的效率问题而设计，并取得了显著的成果。

LightGBM 的核心特性和优势可以归纳为以下几点：

更快的训练速度和更高的效率: LightGBM 使用了多种技术来加速训练过程，例如梯度单边采样 (Gradient-based One-Side Sampling, GOSS) 和互斥特征捆绑 (Exclusive Feature Bundling, EFB)。这些技术能够在保证精度的前提下，大幅减少数据扫描和特征处理的计算量。
更低的内存消耗: LightGBM 使用直方图算法 (Histogram-based Algorithm) 代替传统的预排序算法进行特征离散化和分裂点查找。直方图算法不仅降低了内存消耗，还进一步加速了训练过程。
更高的准确率 (在某些情况下): Leaf-wise (Best-first) 树生长策略是 LightGBM 的另一个关键创新。与 Level-wise 树生长策略相比，Leaf-wise 能够更有效地减少模型误差，从而在某些情况下获得更高的准确率。
支持大规模数据和稀疏特征: LightGBM 的 GOSS 和 EFB 技术使其能够高效处理大规模数据集和高维度稀疏特征，这在处理实际业务数据时尤为重要。
支持并行和 GPU 学习: LightGBM 支持特征并行、数据并行和投票并行等多种并行学习模式，可以充分利用多核 CPU 和 GPU 的计算能力，进一步加速训练过程。
易于使用和扩展: LightGBM 提供了简洁易用的 Python 和 R 接口，方便用户快速上手。同时，其框架设计也具有良好的扩展性，方便用户进行定制和二次开发。

为了更直观地理解 LightGBM 的优势，我们可以将其与传统的 Level-wise 树生长策略和预排序算法进行对比。

1.2.1 Leaf-wise (Best-first) 树生长策略 vs. Level-wise 树生长策略

传统的 GBDT 框架，例如 XGBoost（在默认情况下），通常使用 Level-wise (层级生长) 的树生长策略。Level-wise 策略在同一层的所有叶节点上同时分裂，不加区分地对待同一层的所有叶子，可能导致一些分裂增益较小的叶子也被分裂，从而造成不必要的计算开销。

而 LightGBM 采用 Leaf-wise (叶子生长) 或 Best-first 的策略。Leaf-wise 策略每次从当前所有叶子中，找到分裂增益最大的叶子进行分裂，如此循环。这种策略能够更有效地减少模型误差，因为它专注于对误差贡献最大的叶子进行细化。

Leaf-wise 策略的优点:

更有效地减少模型误差，可能获得更高的精度。
在相同精度下，树的深度更浅，模型更简洁。

Leaf-wise 策略的潜在缺点:

可能导致更深的树，容易过拟合。因此，通常需要通过 max_depth 或 num_leaves 等参数进行限制。
对于小数据集，Level-wise 可能更稳健。

1.2.2 直方图算法 vs. 预排序算法

传统的 GBDT 框架在特征分裂点查找时，通常采用预排序算法。预排序算法需要对每个特征的所有取值进行排序，并遍历所有可能的分割点来计算信息增益。这在数据量大和特征维度高时，计算开销非常巨大，且内存消耗较高。

LightGBM 采用了直方图算法来加速分裂点查找。直方图算法的核心思想是将连续特征值离散化到若干个 bin (桶) 中，构建特征值的直方图。在寻找最优分裂点时，只需要遍历直方图的 bin，而无需遍历所有样本点。

直方图算法的优点:

加速训练: 构建直方图和遍历 bin 的计算量远小于预排序和遍历所有样本点。
降低内存消耗: 直方图算法只需要存储离散化的 bin 值，而无需存储预排序后的特征值，显著降低了内存消耗。
天然支持缺失值处理: 可以将缺失值放入单独的 bin 中，方便处理缺失值。

直方图算法的示意图:

1.2.3 梯度单边采样 (GOSS) 和互斥特征捆绑 (EFB)

除了 Leaf-wise 树生长策略和直方图算法，LightGBM 还引入了两种创新的采样技术来进一步加速训练过程：梯度单边采样 (GOSS) 和互斥特征捆绑 (EFB)。

梯度单边采样 (GOSS): GOSS 是一种高效的采样方法，旨在减少训练样本的数量，同时保持模型的精度。GOSS 的核心思想是，在梯度提升迭代过程中，梯度较大的样本点对模型训练的贡献更大。因此，GOSS 保留梯度较大的样本点，并对梯度较小的样本点进行随机采样。

互斥特征捆绑 (EFB): EFB 是一种针对高维度稀疏数据的特征降维技术。在高维度稀疏数据中，很多特征是互斥的，即它们很少同时取非零值。EFB 将这些互斥特征捆绑成一个单一的特征束，从而减少特征维度，加速训练过程。

GOSS 和 EFB 技术有效地减少了数据规模和特征维度，从而显著提升了 LightGBM 的训练速度和效率。

1.3 LightGBM 代码实践：基础使用

接下来，我们将通过 Python 代码示例演示 LightGBM 的基础使用方法。

1.3.1 环境搭建

首先，需要安装 LightGBM 库。可以使用 pip 命令进行安装：


pip install lightgbm

1.3.2 基础代码示例：二分类任务

我们使用 scikit-learn 库提供的 breast_cancer 数据集进行二分类任务演示。


import lightgbm as lgb
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer
from sklearn.metrics import accuracy_score
# 1. 加载数据集
cancer = load_breast_cancer()
data = cancer.data
target = cancer.target
feature_names = cancer.feature_names
class_names = cancer.target_names
# 2. 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(data, target, test_size=0.2, random_state=42)
# 3. 创建 LightGBM 数据集对象
lgb_train = lgb.Dataset(X_train, y_train, feature_name=list(feature_names))
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train, feature_name=list(feature_names))
# 4. 设置 LightGBM 参数
params = {
    'objective': 'binary',  # 二分类任务
    'metric': 'binary_logloss', # 评估指标：对数损失
    'boosting_type': 'gbdt', # 梯度提升决策树
    'num_leaves': 31,       # 叶子节点数
    'learning_rate': 0.05,  # 学习率
    'feature_fraction': 0.9 # 特征采样比例
}
# 5. 训练模型
print('开始训练...')
gbm = lgb.train(params,
                lgb_train,
                num_boost_round=20, # 迭代次数
                valid_sets=lgb_eval, # 验证集
                callbacks=[lgb.early_stopping(stopping_rounds=5)]) # 早停法
# 6. 模型预测
print('开始预测...')
y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)
y_pred_binary = [1 if pred > 0.5 else 0 for pred in y_pred] # 将概率转换为二分类结果
# 7. 模型评估
accuracy = accuracy_score(y_test, y_pred_binary)
print('准确率:', accuracy)
# 8. 特征重要性
print('特征重要性:', list(zip(feature_names, list(gbm.feature_importance()))))

代码详解:

加载数据集: 使用 sklearn.datasets.load_breast_cancer() 加载乳腺癌数据集。
划分数据集: 使用 sklearn.model_selection.train_test_split() 将数据集划分为训练集和测试集。
创建 LightGBM 数据集对象: lgb.Dataset() 函数用于创建 LightGBM 的数据集对象。lgb.Dataset() 能够有效地处理数据，并支持 LightGBM 的高效训练。reference=lgb_train 参数指定验证集 lgb_eval 参考训练集 lgb_train 的特征名称和类别信息。
设置 LightGBM 参数: params 字典定义了 LightGBM 的训练参数。
- objective: 指定任务类型，这里是 'binary' 二分类。
- metric: 指定评估指标，这里是 'binary_logloss' 二分类对数损失。
- boosting_type: 指定 boosting 类型，这里是 'gbdt' 梯度提升决策树。
- num_leaves: 控制树的复杂度，叶子节点数。
- learning_rate: 学习率，控制模型更新的步长。
- feature_fraction: 特征采样比例，用于特征子采样，防止过拟合。
训练模型: lgb.train() 函数用于训练 LightGBM 模型。
- params: 训练参数。
- lgb_train: 训练数据集。
- num_boost_round: boosting 迭代次数。
- valid_sets: 验证数据集，用于监控模型性能和早停。
- callbacks: 回调函数列表，这里使用了 lgb.early_stopping() 早停法，当验证集指标在一定迭代次数内没有提升时，提前停止训练。
模型预测: gbm.predict() 函数用于模型预测。num_iteration=gbm.best_iteration 参数指定使用最佳迭代次数的模型进行预测，这是早停法找到的最佳模型。
模型评估: 使用 sklearn.metrics.accuracy_score() 计算模型在测试集上的准确率。
特征重要性: gbm.feature_importance() 获取特征重要性评分，并将其与特征名称对应输出。

1.3.3 基础代码示例：回归任务

我们将使用 scikit-learn 库提供的 boston 数据集进行回归任务演示。


import lightgbm as lgb
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_boston
from sklearn.metrics import mean_squared_error
# 1. 加载数据集
boston = load_boston()
data = boston.data
target = boston.target
feature_names = boston.feature_names
# 2. 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(data, target, test_size=0.2, random_state=42)
# 3. 创建 LightGBM 数据集对象
lgb_train = lgb.Dataset(X_train, y_train, feature_name=list(feature_names))
lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train, feature_name=list(feature_names))
# 4. 设置 LightGBM 参数
params = {
    'objective': 'regression', # 回归任务
    'metric': 'l2',          # 评估指标：均方误差 (L2 loss)
    'boosting_type': 'gbdt',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9
}
# 5. 训练模型
print('开始训练...')
gbm = lgb.train(params,
                lgb_train,
                num_boost_round=20,
                valid_sets=lgb_eval,
                callbacks=[lgb.early_stopping(stopping_rounds=5)])
# 6. 模型预测
print('开始预测...')
y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)
# 7. 模型评估
mse = mean_squared_error(y_test, y_pred)
print('均方误差:', mse)
# 8. 特征重要性
print('特征重要性:', list(zip(feature_names, list(gbm.feature_importance()))))

代码详解 (回归任务):

回归任务的代码与二分类任务的代码结构基本一致，主要区别在于参数设置：

objective: 设置为 'regression'，指定为回归任务。
metric: 设置为 'l2'，指定评估指标为均方误差 (L2 loss)。回归任务常用的指标还包括 'l1' (平均绝对误差), 'rmse' (均方根误差) 等。

1.4 总结与展望

本章我们对 LightGBM 进行了基础的概述，介绍了 LightGBM 的核心特性、优势以及关键技术，包括 Leaf-wise 树生长策略、直方图算法、GOSS 和 EFB 等。通过代码实践，我们演示了 LightGBM 在二分类和回归任务中的基础使用方法。

LightGBM 作为一种高效、高性能的梯度提升框架，在大规模数据和高维度特征场景下展现出强大的优势。它在工业界和学术界都得到了广泛的应用。

在接下来的章节中，我们将深入探讨 LightGBM 的高级特性、参数调优、模型评估、并行学习以及与其他机器学习框架的集成等内容，帮助读者更全面、深入地掌握 LightGBM 的使用和应用。

本章总结:

LightGBM 是一种高效梯度提升框架，旨在解决传统 GBDT 在大规模数据和高维度特征场景下的效率问题。
LightGBM 的核心优势包括更快的训练速度、更低的内存消耗、更高的准确率 (在某些情况下)、支持大规模数据和稀疏特征、支持并行和 GPU 学习等。
Leaf-wise 树生长策略、直方图算法、GOSS 和 EFB 是 LightGBM 的关键技术创新。
通过 Python 代码示例，我们演示了 LightGBM 在二分类和回归任务中的基础使用方法。

希望本章内容能够帮助读者对 LightGBM 建立初步的认识，并为后续深入学习 LightGBM 奠定基础。

作者与出处

原作者：灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/191-lightgbm%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AE%97%E6%B3%95%E5%AE%9E%E6%88%98%E6%95%99%E7%A8%8B

整理：灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流