6.3.1.1 统计流形度量

文档摘要

6.3.1.1 统计流形度量 6.3.1.1 统计流形度量：当Fisher信息矩阵在高维参数空间中“塌缩”时，我们不是修复它——而是重定义度量本身你有没有在训练一个带隐变量的深度生成模型时，突然发现自然梯度下降步长发散？有没有在拟合一个高斯混合模型（GMM）时，EM算法收敛得越来越慢，直到某一轮迭代后对数似然值开始震荡、甚至下降？有没有在做贝叶斯模型比较时，用Wasserstein距离评估两个后验分布，结果发现距离值对超参极其敏感，而KL散度又因支撑集不重叠直接爆为无穷？这些不是bug。它们是统计流形在你眼前悄然撕裂的征兆。