3.3.1 线性降维：PCA (主成分分析)

文档摘要

3.3.1 线性降维：PCA (主成分分析) 3.3.1 线性降维：PCA（主成分分析）——从数学直觉到工业级实现的完整闭环你有没有遇到过这样的场景？训练一个分类模型时，特征维度高达2048维——来自ResNet-50最后一层的全局平均池化输出；数据样本却只有不到3000条；协方差矩阵大小是$2048 \times 2048$，内存占用超8MB，特征值分解耗时2.7秒，而下游XGBoost每轮迭代都要重新拟合……更糟的是，交叉验证发现：加入第157维之后，所有指标开始系统性劣化——不是过拟合，而是噪声主导了方向。这不是理论推演的假设，这是我在某医疗影像辅助诊断项目中亲手调试过的凌晨三点的报错日志。那一刻我意识到：PCA从来不是教科书里那个优雅的“找最大方差方向”的几何游戏；