美团技术团队对外公布了一套大模型训推一致性方案，做到训练阶段和在线推理阶段输出的 token 概率逐 bit 完全一致，他们定位到造成训推结果分歧的核心根源，就是浮点数加法顺序不同带来的舍入误差，哪怕输入参数、模型权重完全一样，只要求和顺序不一样，softmax、attention 里的累加结果就会跑偏，最后概率分布、采样结果跟着变。常规大模型训练和推理经常出现数值不一致，很多团队会直接忽略微小差异，但是在美团的搜推、智能体、强化学习场景里，一点点概率偏差就会导致后续采样、打分、决策结果完全不一样，AB 实验不可信、强化学习回报不稳定、线上效果和离线评测对不上。美团这套方案核心思路不是单纯提高精度，而是固定所有 reduce 求和的执行顺序，统一训练、Prefill、Decode 三个阶段的算子规约路径，在 TP、DCP 分布式并行模式下，规避跨卡分段求和带来的顺序打乱，在几乎不损失性能的前提下，拿到 bitwise 级别的概率对齐，已经在 LongCat 系列模型的生产任务里默认启用。
训推不一致问题原理清单
- 浮点数加法不满足结合律：(a+b)+c ≠ a+(b+c)，有限精度下每一次相加都会产生舍入误差
- 常见出错位置：attention 分数求和、softmax 分母规约、矩阵结果跨卡 reduce、logprob 累加
- 传统现象：训练侧并行求和顺序、推理侧 decode 求和顺序不一样，误差持续累积
- 业务危害：离线指标和线上指标脱节、强化学习训练不稳定、AB 实验结论失真、随机采样结果不可复现
美团一致性方案关键做法
- 统一规约路径：训练、Prefill、Decode 复用同一套累加顺序，不因为并行策略改变求和逻辑
- TP 张量并行改造：改用完整 K 维计算替代分段 reduce-scatter 求和，避免分片求和打乱顺序
- DCP 分布式方案：训练前向复现推理 Decode 的累加路径，对齐 reduce 顺序
- 算子层面：使用 batch-invariant 确定性算子，配套 bitwise 回归校验，持续监控数值漂移
- 兼容平衡：优先保证逐位一致，控制算力开销，做到性能接近无损
适用场景与收益
✅ 强化学习：奖励、轨迹采样稳定，训练波动变小
✅ 搜推生成模型：离线评估和线上打分对齐，AB 实验可信
✅ 智能体 Agent：决策链路可复现，方便定位 bug
✅ 模型迭代：算子、框架升级时，有稳定的数值回归基准
方案限制清单
- 只解决浮点规约顺序带来的数值分歧，不能消除硬件、随机种子、采样策略带来的其他差异
- 需要改造底层算子、分布式通信逻辑，通用推理框架不能直接开箱即用
- 对 FP8、低精度量化场景，舍入误差本身更大，对齐难度会明显上升
【相关 FAQ】
问题 1：美团做到训练和推理概率逐位相同，训推分歧为什么藏在加法顺序里？
回答 1：美团做到训练和推理概率逐位相同，训推分歧藏在加法顺序里是因为浮点数加法不满足结合律，求和顺序不同，累积舍入误差就不一样，attention、softmax 等模块的计算结果会产生偏差，最终 token 概率出现差异。
问题 2：美团实现训练推理概率逐位相同，是不是靠换成更高精度浮点来解决？
回答 2：美团实现训练推理概率逐位相同，不是单纯靠提升浮点精度，核心是固定所有 reduce 加法的执行顺序，对齐训练、Prefill、Decode 的规约路径，精度提升只是辅助手段。
问题 3：美团这套训练推理概率逐位相同的方案，已经在哪些模型上落地使用？
回答 3：美团这套训练推理概率逐位相同的方案，已经在 LongCat 系列大模型、搜推 SLM 模型的生产任务默认启用，作为数值回归基准。
问题 4：美团训练推理概率逐位相同，对齐之后能带来哪些实际业务好处？
回答 4：美团训练推理概率逐位相同，对齐之后离线评测和线上结果一致，强化学习训练更稳定，AB 实验结果可信，智能体决策链路可以复现，方便排查模型问题。
【参考资料】
[2026-11-10]（美团把训练和推理的概率做到逐位相同：分歧藏在一个加法顺序里）机器之心
[2026-11-03]（美团大模型训推一致性：实现 bitwise 一致，对齐 reduce 加法顺序）美团技术团队
[2026-10-15]（美团 SLM 推理引擎：配套逐位对齐校验，保障搜推模型数值稳定）沙丘社区
[2026-06-30]（LongCat-2.0：确定性算子与 bitwise 一致性训练实践）美团技术团队
【免责声明】
本文仅整理美团公开技术博客与行业媒体报道，美团训练推理概率逐位相同方案的实现细节、性能损耗、适用算子范围以美团技术团队官方文档为准；该方案属于工程级数值对齐手段，不代表可以实现全场景 100% 结果复现，低精度量化、硬件差异仍可能引入额外偏差，不构成模型部署、算法选型的担保。