第一章：LightGBM 基础与概述

文档摘要

第一章：LightGBM 基础与概述第一章：LightGBM 基础与概述 1.1 引言：高效梯度提升框架的需求在机器学习领域，梯度提升（Gradient Boosting）算法因其强大的预测能力和处理复杂数据集的能力而备受青睐。诸如 XGBoost、GBDT 等梯度提升框架在各种竞赛和实际应用中都取得了巨大的成功。然而，随着数据规模的爆炸式增长和对模型训练效率要求的不断提高，传统梯度提升框架在某些方面逐渐显现出局限性。传统的梯度提升决策树（GBDT）算法，例如基于预排序（pre-sorted）的算法，虽然精度较高，但在处理大规模数据时，其训练速度和内存消耗成为瓶颈。尤其是在高维度稀疏数据场景下，其效率会显著降低。