4.3.1 多重共线性分析与相关性过滤

文档摘要

4.3.1 多重共线性分析与相关性过滤在建模的战场上，特征不是越多越好，而是越“干净”越好——就像一支精锐部队，不靠人数堆砌，而靠协同作战能力取胜。我们常把高维特征空间比作迷雾森林：每棵树（特征）都看似独立挺立，可一旦深入林间，便会发现许多树根在地下早已悄然缠绕、彼此牵制。这种隐秘的纠缠，就是多重共线性（Multicollinearity）；而若放任它潜伏于模型之中，逻辑回归的系数会剧烈震荡，岭回归的正则化路径变得混沌难解，随机森林的重要度排序可能沦为噪声狂欢，甚至XGBoost在分裂节点时也会因冗余信号而误判信息增益。这不是危言耸听，而是每天发生在风控建模、临床预测、工业传感器诊断等真实场景中的静默故障。因此，“4.3.