6.3.2.2 黎曼流形优化算法

文档摘要

6.3.2.2 黎曼流形优化算法当梯度下降在球面上“迷路”：一个关于切空间投影失效的真实故障与修复方案你有没有试过，在训练一个需要保持单位范数约束的嵌入向量时，模型收敛得异常缓慢，甚至发散？比如，你在做知识图谱补全，用RotatE建模关系旋转，要求所有实体向量 $\mathbf{e}i \in \mathbb{R}^d$ 满足 $\|\mathbf{e}i\|2 = 1$；又或者你在做方向性概率建模，用von Mises–Fisher分布拟合高维单位球面上的观测方向；