混合精度训练出现 NaN 怎么办,GradScaler 原理、流程与踩坑排查指南

开 FP16 混合精度训练后 loss 直接出 NaN,核心根源是 FP16 数值范围窄,梯度很容易上溢变成 inf,进而传播成 NaN;GradScaler 不是直接消除 NaN,而是一套动态 loss 缩放机制,它先放大 loss 防止小梯度下溢变成 0,反向后检查梯度有没有 inf/NaN,异常时跳过权重更新并且降低缩放系数,正常时再把梯度还原、慢慢抬升缩放系数,我们先把 GradScaler 完整执行流程拆开,再梳理 NaN 高频诱因、分步排查方法、代码规范和替代方案,避免很多人误以为加上 GradScaler 就一定不会出现 NaN 的误区。

一、先搞懂:FP16 为什么一开混合精度就容易 NaN/inf

FP16 半精度浮点数的数值区间很小,最大值约 65504,最小值约 6.1e-5,对比 FP32、BF16 差距很大。

  • 下溢:梯度特别小,低于 FP16 能表达下限,直接变成 0,权重完全不更新,训练僵住,这种问题静默很难发现;
  • 上溢:梯度、激活值、softmax logit、attention 分数太大,超过 FP16 上限,变成 inf,inf 参与计算之后就会扩散成 NaN,也就是大家最常碰到的现象;
  • BF16 的指数范围和 FP32 一致,几乎不会出现这类溢出问题,所以新显卡优先选 bf16 的 autocast,能大幅减少 NaN。

二、GradScaler 到底在做什么,4 步完整工作流程

GradScaler 全称梯度缩放器,配合 torch.autocast 使用,核心就是动态维护一个 scale 缩放因子,循环执行下面 4 个动作:

  1. scale 放大 loss:scaler.scale (loss),loss 乘上当前 scale,链式法则会让反向传播出来的梯度同步放大,原本快要下溢归零的小梯度被抬进 FP16 有效区间;
  2. 反向传播 backward:在 FP16 环境算出放大之后的梯度,此时梯度是放大后的状态,不能直接给优化器;
  3. unscale_ + 有限性检测:scaler.unscale_(optimizer),梯度除以 scale 还原回真实梯度,同时扫描全部梯度,只要任意梯度存在 inf、NaN,标记本次迭代异常;
  4. 异常:跳过 optimizer.step (),不更新权重,并且把 scale 减半;
  5. 正常:执行 optimizer.step () 更新权重;
  6. update 更新 scale:连续多轮正常无 NaN,scale 会乘上放大系数慢慢涨回去;持续碰到 NaN,scale 会持续下降,直到梯度不再溢出。

关键提醒:GradScaler 只能检测梯度层面的 inf/NaN,如果是前向传播里面自定义 loss、除法、log、softmax 产生的 NaN,GradScaler 只能跳过更新,没法修复这个数值错误。

三、混合精度出现 NaN 的高频原因清单

  1. 只用 FP16 autocast,没有配套 GradScaler,小梯度下溢或者大梯度直接溢出;
  2. 自定义损失函数里面有 log (0)、除以 0、sqrt 负数,autocast 环境下更容易触发非法运算;
  3. Attention、大 logit 没有做归一、缩放,softmax 输入值爆炸,FP16 直接溢出;
  4. 梯度裁剪时机错了:在 scale 放大之后做 clip,而不是 unscale 之后;
  5. 梯度累积场景 scale 使用错误,多次 backward 中途 unscale,缩放系数混乱;
  6. 学习率太大、batch 不稳定、脏样本,梯度本身爆炸,哪怕 FP32 训练也会 NaN,混合精度只是放大这个问题;
  7. 加载的 checkpoint、优化器状态里面已经携带 NaN,加载之后直接污染训练流。

四、分步排查流程(从简单到复杂)

  1. 先换精度验证:显卡支持 Ampere 及以上,直接改成 dtype=bfloat16,bf16 不依赖 GradScaler,改完消失就是 FP16 溢出问题;
  2. 打印 scale 值监控:scaler.get_scale (),如果 scale 持续掉到 1 附近还反复 NaN,说明模型本身数值不稳定,不是单纯缩放问题;
  3. 定位 NaN 出现阶段:打开 torch.autograd.detect_anomaly (),慢速定位是前向还是反向产生非法值;
  4. 检查自定义算子、loss:把容易炸的运算(log、div、sqrt)强制放到 float32 里面计算;
  5. 调整梯度裁剪:unscale 之后再执行 torch.nn.utils.clip_grad_norm_;
  6. 调低学习率、增加 warmup,排查异常坏样本;
  7. 回退到 FP32 跑一轮,如果 FP32 同样 NaN,说明和混合精度无关,是 loss、数据、模型结构 bug。

五、正确代码模板(PyTorch AMP 标准写法)

scaler = torch.amp.GradScaler("cuda")

for x, y in dataloader:

optimizer.zero_grad()

with torch.autocast(device_type="cuda", dtype=torch.float16):

pred = model(x)

loss = loss_fn(pred, y)

scaler.scale(loss).backward()

scaler.unscale_(optimizer)

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

scaler.step(optimizer)

scaler.update()

六、避坑对照表

现象大概率原因处理方案
偶尔 NaN,大部分轮次正常FP16 动态范围不足,scale 动态波动优先 bf16;保留 GradScaler,调低初始 scale
每一轮都 NaN,scale 持续减半前向算子溢出、loss 非法运算锁定异常算子,局部强制 FP32;检查 log / 除法
loss 长期不动、不下降梯度持续下溢归零FP16 场景必须开启 GradScaler;不要固定 scale=1
梯度累积时频繁 NaN累积中途错误 unscale全部 backward 做完、累积完成之后,再 unscale 和 step
切换 bf16 之后依然 NaN模型本身数值不稳定、脏数据、lr 爆炸和 AMP 无关,回归 FP32 定位业务逻辑问题

【相关 FAQ】

问题 1:混合精度 FP16 训练已经加上 GradScaler,为什么还是会出现 NaN?

回答 1:GradScaler 只能解决梯度下溢,并且检测梯度 inf 之后跳过更新、下调缩放系数,它不能阻止前向传播里 softmax、自定义 loss 的除法、log 运算产生非法数值;这类场景就算开启 GradScaler,混合精度依旧会出现 NaN,需要单独修复算子数值稳定性,或者换成 bf16。

问题 2:GradScaler 的 unscale_操作是必须写的吗,不写 unscale 会发生什么?

回答 2:如果要做梯度裁剪、梯度打印、梯度判断,必须调用 unscale_;不手动 unscale 直接 step,scaler.step 内部会自动执行 unscale 检测;但裁剪梯度必须放在 unscale 之后,不然裁剪的是放大后的虚假梯度,裁剪阈值完全失效。

问题 3:bf16 混合精度还需要搭配 GradScaler 使用吗?

回答 3:bf16 指数范围和 FP32 一致,不会发生梯度下溢,绝大多数场景下 bf16 autocast 不需要 GradScaler;只有极少数极小梯度的特殊模型,才会考虑搭配缩放,常规大模型、CV 模型直接不用 GradScaler。

问题 4:混合精度出现 NaN 之后,GradScaler 跳过 step,权重没更新,会不会造成训练跑偏?

回答 4:单次跳过迭代影响很小,GradScaler 会自动降低 scale 尝试适配;如果持续大量迭代都被跳过,说明当前配置不适合这个模型,长期大量跳步会导致收敛变慢、训练不稳定,不能只靠一直降 scale 硬扛。

【参考资料】

[2026-11-19](手把手教你:开了混合精度就 NaN,GradScaler 到底在做什么|AI 工程师踩坑实录・第 11 篇)博客园

[2026-11-12](PyTorch 2.6 AMP 自动混合精度官方文档)PyTorch 中文文档

[2026-09-30](Mixed Precision Training, in depth: autocast, GradScaler, BF16 versus FP16)Belgavi.AI Lab

[2026-07-12](混合精度溢出、NaN、loss 异常排查思路)clusterbid.com

[2026-05-20](AMP 多优化器、梯度累积场景 GradScaler 使用规范)PyTorch 官方示例文档

【免责声明】

本文内容为混合精度、GradScaler 原理与 NaN 踩坑排查的技术科普,不保证适配所有模型、框架、硬件版本;不同版本 PyTorch、训练框架、自定义算子的 autocast 规则存在差异;正式训练前建议在小批量数据集复现验证,所有调试参数、精度选型以框架官方最新文档为准。

本文来自作者[束隧信标师]投稿,不代表江南网立场,如若转载,请注明出处:https://news.jnwb.net/rgzn/202611/4520.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 束隧信标师
    束隧信标师 2026年11月19日

    我是江南网的签约作者“束隧信标师”!

  • 束隧信标师
    束隧信标师 2026年11月19日

    希望本篇文章《混合精度训练出现 NaN 怎么办,GradScaler 原理、流程与踩坑排查指南》能对你有所帮助!

  • 束隧信标师
    束隧信标师 2026年11月19日

    本站[江南网]内容主要涵盖:互联网行业的追踪与探索

  • 束隧信标师
    束隧信标师 2026年11月19日

    本文概览:开 FP16 混合精度训练后 loss 直接出 NaN,核心根源是 FP16 数值范围窄,梯度很容易上溢变成 inf,进而传播成 NaN;GradScaler

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们