7.1.2 研究者深化方向

文档摘要

7.1.2 研究者深化方向 7.1.2 研究者深化方向：从模型理解到机制可控的三层跃迁你有没有在深夜调试一个Transformer时突然停住——不是因为loss不降，而是因为你忽然意识到：自己能调参、能训模型、能复现SOTA，却说不清为什么LayerNorm放在残差前比放在后更稳定；为什么RoPE的位置编码在长序列上对qk内积的衰减控制，本质上是在约束$\mathbb{R}^{d}\to\mathbb{R}^{d}$映射的李导数模长；为什么当你的MoE路由熵从$H(\pi)=3.2$跌到$2.1$时，验证集上的OOD泛化能力反而提升了7.3%？这不是“不够努力”的问题。