开 FP16 混合精度训练后 loss 直接出 NaN,核心根源是 FP16 数值范围窄,梯度很容易上溢变成 inf,进而传播成 NaN;GradScaler 不是直接消除 NaN,而是一套动态 loss 缩放机制,它先放大 loss 防止小梯度下溢变成 0,反向后检查梯度有没有 inf/NaN,异常时跳过权重更新并且降低缩放系数,正常时再把梯度还原、慢慢抬升缩放系数,我们先把 GradScaler 完整执行流程拆开,再梳理 NaN 高频诱因、分步排查方法、代码规范和替代方案,避免很多人误以为加上 GradScaler 就一定不会出现 NaN 的误区。
一、先搞懂:FP16 为什么一开混合精度就容易 NaN/inf
FP16 半精度浮点数的数值区间很小,最大值约 65504,最小值约 6.1e-5,对比 FP32、BF16 差距很大。
- 下溢:梯度特别小,低于 FP16 能表达下限,直接变成 0,权重完全不更新,训练僵住,这种问题静默很难发现;
- 上溢:梯度、激活值、softmax logit、attention 分数太大,超过 FP16 上限,变成 inf,inf 参与计算之后就会扩散成 NaN,也就是大家最常碰到的现象;
- BF16 的指数范围和 FP32 一致,几乎不会出现这类溢出问题,所以新显卡优先选 bf16 的 autocast,能大幅减少 NaN。
二、GradScaler 到底在做什么,4 步完整工作流程
GradScaler 全称梯度缩放器,配合 torch.autocast 使用,核心就是动态维护一个 scale 缩放因子,循环执行下面 4 个动作:
- scale 放大 loss:scaler.scale (loss),loss 乘上当前 scale,链式法则会让反向传播出来的梯度同步放大,原本快要下溢归零的小梯度被抬进 FP16 有效区间;
- 反向传播 backward:在 FP16 环境算出放大之后的梯度,此时梯度是放大后的状态,不能直接给优化器;
- unscale_ + 有限性检测:scaler.unscale_(optimizer),梯度除以 scale 还原回真实梯度,同时扫描全部梯度,只要任意梯度存在 inf、NaN,标记本次迭代异常;
- 异常:跳过 optimizer.step (),不更新权重,并且把 scale 减半;
- 正常:执行 optimizer.step () 更新权重;
- update 更新 scale:连续多轮正常无 NaN,scale 会乘上放大系数慢慢涨回去;持续碰到 NaN,scale 会持续下降,直到梯度不再溢出。
关键提醒:GradScaler 只能检测梯度层面的 inf/NaN,如果是前向传播里面自定义 loss、除法、log、softmax 产生的 NaN,GradScaler 只能跳过更新,没法修复这个数值错误。
三、混合精度出现 NaN 的高频原因清单
- 只用 FP16 autocast,没有配套 GradScaler,小梯度下溢或者大梯度直接溢出;
- 自定义损失函数里面有 log (0)、除以 0、sqrt 负数,autocast 环境下更容易触发非法运算;
- Attention、大 logit 没有做归一、缩放,softmax 输入值爆炸,FP16 直接溢出;
- 梯度裁剪时机错了:在 scale 放大之后做 clip,而不是 unscale 之后;
- 梯度累积场景 scale 使用错误,多次 backward 中途 unscale,缩放系数混乱;
- 学习率太大、batch 不稳定、脏样本,梯度本身爆炸,哪怕 FP32 训练也会 NaN,混合精度只是放大这个问题;
- 加载的 checkpoint、优化器状态里面已经携带 NaN,加载之后直接污染训练流。
四、分步排查流程(从简单到复杂)
- 先换精度验证:显卡支持 Ampere 及以上,直接改成 dtype=bfloat16,bf16 不依赖 GradScaler,改完消失就是 FP16 溢出问题;
- 打印 scale 值监控:scaler.get_scale (),如果 scale 持续掉到 1 附近还反复 NaN,说明模型本身数值不稳定,不是单纯缩放问题;
- 定位 NaN 出现阶段:打开 torch.autograd.detect_anomaly (),慢速定位是前向还是反向产生非法值;
- 检查自定义算子、loss:把容易炸的运算(log、div、sqrt)强制放到 float32 里面计算;
- 调整梯度裁剪:unscale 之后再执行 torch.nn.utils.clip_grad_norm_;
- 调低学习率、增加 warmup,排查异常坏样本;
- 回退到 FP32 跑一轮,如果 FP32 同样 NaN,说明和混合精度无关,是 loss、数据、模型结构 bug。
五、正确代码模板(PyTorch AMP 标准写法)
scaler = torch.amp.GradScaler("cuda")
for x, y in dataloader:
optimizer.zero_grad()
with torch.autocast(device_type="cuda", dtype=torch.float16):
pred = model(x)
loss = loss_fn(pred, y)
scaler.scale(loss).backward()
scaler.unscale_(optimizer)
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
scaler.step(optimizer)
scaler.update()
六、避坑对照表
| 现象 | 大概率原因 | 处理方案 |
|---|---|---|
| 偶尔 NaN,大部分轮次正常 | FP16 动态范围不足,scale 动态波动 | 优先 bf16;保留 GradScaler,调低初始 scale |
| 每一轮都 NaN,scale 持续减半 | 前向算子溢出、loss 非法运算 | 锁定异常算子,局部强制 FP32;检查 log / 除法 |
| loss 长期不动、不下降 | 梯度持续下溢归零 | FP16 场景必须开启 GradScaler;不要固定 scale=1 |
| 梯度累积时频繁 NaN | 累积中途错误 unscale | 全部 backward 做完、累积完成之后,再 unscale 和 step |
| 切换 bf16 之后依然 NaN | 模型本身数值不稳定、脏数据、lr 爆炸 | 和 AMP 无关,回归 FP32 定位业务逻辑问题 |
【相关 FAQ】
问题 1:混合精度 FP16 训练已经加上 GradScaler,为什么还是会出现 NaN?
回答 1:GradScaler 只能解决梯度下溢,并且检测梯度 inf 之后跳过更新、下调缩放系数,它不能阻止前向传播里 softmax、自定义 loss 的除法、log 运算产生非法数值;这类场景就算开启 GradScaler,混合精度依旧会出现 NaN,需要单独修复算子数值稳定性,或者换成 bf16。
问题 2:GradScaler 的 unscale_操作是必须写的吗,不写 unscale 会发生什么?
回答 2:如果要做梯度裁剪、梯度打印、梯度判断,必须调用 unscale_;不手动 unscale 直接 step,scaler.step 内部会自动执行 unscale 检测;但裁剪梯度必须放在 unscale 之后,不然裁剪的是放大后的虚假梯度,裁剪阈值完全失效。
问题 3:bf16 混合精度还需要搭配 GradScaler 使用吗?
回答 3:bf16 指数范围和 FP32 一致,不会发生梯度下溢,绝大多数场景下 bf16 autocast 不需要 GradScaler;只有极少数极小梯度的特殊模型,才会考虑搭配缩放,常规大模型、CV 模型直接不用 GradScaler。
问题 4:混合精度出现 NaN 之后,GradScaler 跳过 step,权重没更新,会不会造成训练跑偏?
回答 4:单次跳过迭代影响很小,GradScaler 会自动降低 scale 尝试适配;如果持续大量迭代都被跳过,说明当前配置不适合这个模型,长期大量跳步会导致收敛变慢、训练不稳定,不能只靠一直降 scale 硬扛。
【参考资料】
[2026-11-19](手把手教你:开了混合精度就 NaN,GradScaler 到底在做什么|AI 工程师踩坑实录・第 11 篇)博客园
[2026-11-12](PyTorch 2.6 AMP 自动混合精度官方文档)PyTorch 中文文档
[2026-09-30](Mixed Precision Training, in depth: autocast, GradScaler, BF16 versus FP16)Belgavi.AI Lab
[2026-07-12](混合精度溢出、NaN、loss 异常排查思路)clusterbid.com
[2026-05-20](AMP 多优化器、梯度累积场景 GradScaler 使用规范)PyTorch 官方示例文档
【免责声明】
本文内容为混合精度、GradScaler 原理与 NaN 踩坑排查的技术科普,不保证适配所有模型、框架、硬件版本;不同版本 PyTorch、训练框架、自定义算子的 autocast 规则存在差异;正式训练前建议在小批量数据集复现验证,所有调试参数、精度选型以框架官方最新文档为准。
本文来自作者[束隧信标师]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/rgzn/202611/4520.html
评论列表(4条)
我是江南网的签约作者“束隧信标师”!
希望本篇文章《混合精度训练出现 NaN 怎么办,GradScaler 原理、流程与踩坑排查指南》能对你有所帮助!
本站[江南网]内容主要涵盖:互联网行业的追踪与探索
本文概览:开 FP16 混合精度训练后 loss 直接出 NaN,核心根源是 FP16 数值范围窄,梯度很容易上溢变成 inf,进而传播成 NaN;GradScaler