7.2.1 解决数值爆炸 (Numerical Instability)


文档摘要

7.2.1 解决数值爆炸 (Numerical Instability) 数值爆炸,是深度学习工程师深夜调试模型时最熟悉的“幽灵”——它不声不响,却能在一次前向传播中让梯度从 $10^{-3}$ 猛增至 $10^{12}$;它不报错,却让 loss 曲线突然炸成一片刺眼的 NaN;它不挑模型,从最朴素的全连接网络到千亿参数的 MoE 架构,只要计算路径中存在未加约束的指数、除法、对数或矩阵求逆,它就随时准备在浮点数的悬崖边缘推你一把。 会员。《7.2.1 解决数值爆炸 (Numerical Instability)》收录于灏天文库文集《MuJoCo物理引擎》,提供技术教程、实践指南与问题解决方案,支持在线阅读、全文检索与知识沉淀,助力开发者系统化学习。文档编号50878。

该文档为会员专享,请先登录或注册后再查看


发布者: 作者: 转发
评论区 (0)
U