过拟合欠拟合面试题

文档摘要

过拟合欠拟合面试题如何理解高方差与低偏差? 模型的预测误差可以分解为三个部分: 偏差(bias)，方差(variance) 和噪声(noise). 偏差偏差度量了模型的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。偏差则表现为在特定分布上的适应能力，偏差越大越偏离真实值。方差方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。方差越大，说明数据分布越分散。噪声噪声表达了在当前任务上任何模型所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。下图为偏差和方差示意图。