Scaling Laws（缩放定律）核心就是回答：总训练算力 C 固定时，参数 N 做多大、训练 token D 喂多少，才能让预训练损失最低、效果最好。简单说，极端方案都浪费算力：模型很大、数据太少，参数容量没被喂饱，属于欠训练；模型很小、数据堆太多，模型容量到顶，数据信息装不下，属于过训练。行业有两套经典基准：OpenAI Kaplan 2020 版本偏向优先堆大模型；DeepMind Chinchilla 2022 版本是现在主流工程选用的最优方案，主张参数和数据等比例同步放大，经验配比大约20 token / 1 参数，同等算力下效果明显优于之前只疯狂堆参数的路线。
一、核心公式与两个经典版本对比
基础算力公式：C≈6×N×D，C 是总 FLOPs 算力，N 是参数量，D 是训练 token 数Princeton ...
| 方案 | 缩放关系 | D/N 经验比值 | 核心思路 | 典型例子 |
|---|---|---|---|---|
| Kaplan（2020） | N∝C0.73, D∝C0.27 | ≈1.7 token / 参数 | 算力优先砸模型，模型做大收益更高 | GPT-3：175B 参数，300B token |
| Chinchilla（2022） | N∝C0.5, D∝C0.5 | ≈20 token / 参数 | 算力平分，参数、数据同步翻倍 | Chinchilla：70B 参数，1.4T token |
Chinchilla 的结论：算力翻 4 倍，参数 ×2、token×2；在相同算力预算下，70B+1.4T token 的 Chinchilla，MMLU 显著高于 280B+300B token 的 Gopher。
二、给定算力预算，工程上三步计算最优规模
- 确定总算力 C，代入 Chinchilla 最优关系：D≈20×N
- 联立 C=6ND，得到 Nopt≈C/120，Dopt≈20×Nopt
- 再叠加约束校验：
- 数据约束：如果没有足够高质量 token，就不能硬套 20:1，转向数据受限的 scaling；
- 推理约束：线上推理成本很高时，会主动选择更小模型、更多数据（过训练），降低推理开销；
- 硬件约束：GPU 显存限制，参数量不能超过硬件可承载上限。
三、三个关键概念清单
- 欠训练（Undertrained）：D/N < 20，参数多、数据少，模型容量闲置，很多早期大模型属于这类；
- 算力最优（Compute-Optimal / Chinchilla 最优）：D/N≈20，固定算力下预训练损失最低；
- 过训练（Overtrained）：D/N >20，数据远多于参数，预训练阶段损失略高，但模型更小、推理更便宜，适合看重线上部署成本的场景（Llama 系列很多是过训练路线）。
四、Scaling Laws 的适用边界（不能无脑套用）
- 它是经验幂律，在对数坐标下近似直线，只在同架构、同数据质量、同优化器配方下成立；换数据质量、换 tokenizer、换架构，系数会变；
- 数据稀缺场景（高质量文本耗尽），Chinchilla 20:1 不再成立，要走 data-constrained scaling，重复数据收益快速衰减；
- 缩放定律只描述预训练损失，不直接等价于下游任务、对齐、安全、多模态能力；
- 不包含推理成本，只算训练算力预算；很多团队会牺牲一点点训练最优，换取推理成本下降。
五、实操取舍
- 纯科研、只看预训练效果：优先 Chinchilla 20:1 算力最优配比；
- ToB、大规模线上部署：偏向过训练，小模型 + 更多 token，降低推理长期成本；
- 数据很少、算力充足：不要强行做大模型，优先把数据质量拉满，控制模型规模。
【相关 FAQ】
问题 1：Scaling Laws 算力分配指南：固定算力预算下，模型参数量与训练数据的最优配比，Chinchilla 的 20 token / 参数是什么意思？
回答 1：Scaling Laws 算力分配指南：固定算力预算下，模型参数量与训练数据的最优配比，就是算力最优的经验比值，每 1 个参数，配大约 20 个训练 token；在固定总 FLOPs 时，按这个配比分配，预训练损失最低。
问题 2：Scaling Laws 算力分配指南：固定算力预算下，模型参数量与训练数据的最优配比，Kaplan 和 Chinchilla 为什么结论不一样？
回答 2：Scaling Laws 算力分配指南：固定算力预算下，模型参数量与训练数据的最优配比，Kaplan 早期实验没有给每个模型单独调学习率，偏向堆参数；Chinchilla 做了 400 多组对照、每个模型单独调超参，发现同等算力下同步放大参数和数据效果更好。
问题 3：Scaling Laws 算力分配指南：固定算力预算下，模型参数量与训练数据的最优配比，算力公式 C≈6ND 里的 C 是什么？
回答 3：Scaling Laws 算力分配指南：固定算力预算下，模型参数量与训练数据的最优配比，C 是预训练总浮点运算量 FLOPs，N 是非嵌入参数量，D 是训练 token 总数，6 是 Transformer 预训练的经验系数。
问题 4：Scaling Laws 算力分配指南：固定算力预算下，模型参数量与训练数据的最优配比，过训练有什么好处？
回答 4：Scaling Laws 算力分配指南：固定算力预算下，模型参数量与训练数据的最优配比，过训练就是 D/N>20，模型更小，虽然预训练不是算力最优，但推理成本更低，适合需要大量线上服务的业务。
问题 5：Scaling Laws 算力分配指南：固定算力预算下，模型参数量与训练数据的最优配比，Scaling Laws 能直接套用到多模态模型吗？
回答 5：Scaling Laws 算力分配指南：固定算力预算下，模型参数量与训练数据的最优配比，不能直接照搬文本大模型的 20:1；多模态、扩散模型、具身模型有各自独立的 scaling 曲线，最优 N/D 比值会变化。
【参考资料】
[2020] Scaling Laws for Neural Language Models（Kaplan，OpenAI）
[2022] Training Compute-Optimal Large Language Models（Hoffmann，Chinchilla）
[2026-11-08] Scaling Laws：给定一笔算力预算，模型该造多大、数据该喂多少？阿里云、腾讯云开发者社区
[2024] Scaling Data-Constrained Language Models，JMLR
【免责声明】
Scaling Laws 是经验统计规律，不是严格数学定理；最优配比会随数据质量、架构、优化方案、显存约束、推理成本目标漂移；本文仅用于预训练方案规划参考，不代表落地一定最优，正式训练前建议做小尺度扫参实验标定自身曲线。