7.3.1 高维数据挑战：稀疏表示与深度学习

文档摘要

7.3.1 高维数据挑战：稀疏表示与深度学习在高维数据的汪洋中，我们常误以为维度是数据的“丰饶”，实则它更像一场静默的雪崩——每增加一维，数据点便如退潮般稀疏地散落在指数级膨胀的空间角落。当图像分辨率升至 $256 \times 256$（65,536 维），当单细胞 RNA-seq 测量覆盖 20,000+ 基因，当推荐系统用户-物品交互矩阵隐含百万级稀疏嵌入，传统建模范式便开始发出刺耳的金属疲劳声：模型参数爆炸、梯度弥散、泛化塌缩、训练失焦。这不是算力不足的问题，而是结构失配——我们用稠密的线性假设去拟合本质稀疏、局部相干、流形嵌套的真实信号。这正是“7.3.1 高维数据挑战：稀疏表示与深度学习”的核心张力所在：稀疏性不是噪声，而是先验；不是缺陷，而是钥匙。