2.3.1.2 线性变换下的封闭性

文档摘要

2.3.1.2 线性变换下的封闭性 2.3.1.2 线性变换下的封闭性：当矩阵乘法悄悄“越界”——一个被忽略的浮点溢出陷阱与零空间坍塌实录你有没有在调试一个看似完美的线性回归模型时，突然发现预测值炸成了，而训练损失曲线在第 87 轮毫无征兆地垂直起飞？有没有在实现自定义图神经网络层时，输入特征是单位范数向量，权重矩阵是 Xavier 初始化的，可经过三轮后，节点嵌入的 L2 范数从跳到，再下一轮就全变成？有没有在部署一个实时推荐系统的 embedding 投影模块后，A/B 测试显示 CTR 下降 12%，日志里却只有一行安静的？这不是模型架构的问题。不是学习率调得太高。也不是数据没归一化。 ——这是线性变换在浮点世界中对“封闭性”的背叛。