5.3 集成学习

文档摘要

5.3 集成学习 5.3 集成学习集成学习是一种强大的机器学习范式，它通过结合多个弱学习器来构建一个更强大的模型。这些弱学习器通常是简单的模型，如决策树桩或逻辑回归，但当它们以正确的方式组合时，集成模型能够显著提高预测的准确性和鲁棒性，同时减少过拟合的风险。集成学习的核心思想是“集思广益”，即多个模型的集体智慧通常优于任何单个模型的智慧。 5.3.1 集成学习的基本原理集成学习的基本原理是利用多个模型的“多样性”来弥补单个模型的“偏差”和“方差”。偏差：指模型预测的平均值与真实值之间的差异。高偏差模型通常过于简化，导致欠拟合。方差：指模型预测值在不同训练数据集上的变动程度。高方差模型通常过于复杂，导致过拟合。