9.1.2 数据的复杂性与维数灾难

文档摘要

9.1.2 数据的复杂性与维数灾难 9.1.2 数据的复杂性与维数灾难：一场在高维空间中无声崩塌的工程事故你有没有试过训练一个模型，特征从20维涨到200维后，准确率不升反降？有没有在特征工程阶段反复删除看似“无关”的字段，却始终无法解释为什么AUC在78%附近像被焊死了一样纹丝不动？有没有深夜盯着t-SNE降维后的散点图发呆——那些本该聚成簇的样本，竟如被飓风撕碎的纸片，在二维平面上稀疏、弥散、彼此重叠，毫无边界可言？这不是模型不够深，也不是学习率调得不对。这是高维空间本身在向你发出警告：你正站在维数灾难（Curse of Dimensionality）的悬崖边缘，而脚下并非虚空，而是一片由距离失效、密度稀释、噪声放大共同构筑的流沙沼泽。我们常把数据比作矿藏，把算法比作掘金机。