2. XGBoost算法原理

文档摘要

XGBoost算法原理 XGBoost 算法原理详解引言 2.1 梯度提升 (Gradient Boosting) 的基础在深入 XGBoost 之前，理解梯度提升 (Gradient Boosting) 的基本概念至关重要。梯度提升是一种集成学习方法，它通过迭代地训练一系列弱学习器（通常是决策树），并将它们组合成一个强学习器。其核心思想是加法模型和前向分步算法。加法模型 (Additive Model): 最终模型是多个弱学习器的线性组合。前向分步算法 (Forward Stagewise Algorithm): 每一轮迭代都旨在学习一个新的弱学习器，以拟合当前模型的残差或梯度。梯度提升算法的一般步骤如下：初始化模型: 通常使用一个常数模型作为初始预测，例如均值或对数几率。