做大模型持续预训练的时候,最头疼的就是不同领域、不同语种的数据配比怎么调。传统做法是先把多种数据按比例混在一起,跑完整轮训练,跑完评测才知道配比好不好,如果效果不行,就得重新调比例、从头训练一遍,算力开销巨大,试错成本很高。日本 NICT 团队在 EMNLP 2026 拿到杰出论文的 OptiMer 方案,核心思路就是把 “混合数据再训练” 改成 “分开训练再合并分布向量”,配比搜索阶段不用反复重头训练模型,直接靠向量加权组合快速试不同配比,大幅降低算力消耗,同时还能拿到更好的综合效果。这篇论文是本届 EMNLP 2026 一万七千六百六十一篇投稿里,22 篇杰出论文之一,实验基于 Gemma 3 27B 模型,覆盖中日语言、数学、代码这些领域验证了方案有效。
OptiMer 完整执行步骤
- 分数据源单独预训练:拿同一个基座模型,分别在日语、中文、数学、代码等每一类独立数据集上做持续预训练,每个数据集产出一个单独的模型副本。
- 提取分布向量:用单数据集训练后的模型参数减去原始基座模型参数,得到这个数据集对应的分布向量,这个向量就代表这一类数据给模型带来的能力变化。
- 加权组合分布向量:基座模型加上不同权重的多个分布向量,就能模拟出不同的数据配比效果,还可以额外加入指令遵循向量。
- 搜索最优权重:在验证集上评测组合后的模型,自动调整各个分布向量的权重,找到表现最好的组合,整个搜索过程只做模型合并和评测,不需要再次训练。
核心效果数据
- 搜索成本相比传统数据混合方案下降 15 到 35 倍。
- 对比直接混合数据、模型取平均这些基线方法,下游任务综合性能更强。
- 测试场景:Gemma 3 27B,每个领域数据集 1B token,序列长度 4096,有效 batch size128。
和传统数据混合方案对比
| 方案 | 配比调试方式 | 是否需要反复训练 | 算力开销 |
|---|---|---|---|
| 传统数据混合 | 调整数据 token 比例,混合后训练 | 每次换配比都要重训 | 极高 |
| OptiMer 分布向量合并 | 调整分布向量权重,合并模型 | 只提前单独训练一次,搜索阶段不训练 | 低 |
【相关 FAQ】
问题 1:OptiMer 最优分布向量合并适合普通预训练还是持续预训练?
回答 1:OptiMer 最优分布向量合并主要面向持续预训练场景,它是为了在持续预训练阶段快速寻找最优数据配比而设计,不是从零开始的基座预训练方案。
问题 2:OptiMer 最优分布向量合并为什么能大幅降低数据配比搜索的算力?
回答 2:OptiMer 最优分布向量合并先把每一类数据单独训练一次,之后所有配比测试都改成向量加权合并,不用每换一组配比就重新跑完整训练流程,所以算力开销相比传统数据混合下降 15–35 倍。
问题 3:OptiMer 最优分布向量合并在哪些数据类型上做过验证?
回答 3:OptiMer 最优分布向量合并在日语、中文这类多语言数据,还有数学、代码领域数据上基于 Gemma 3 27B 完成实验验证。
【参考资料】
[2026-11-15](EMNLP 2026 杰出论文|大模型训练,数据配比难?日本 NICT 团队提出最优分布向量合并)新浪财经
[2026-03-28](OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training)arXiv
【免责声明】
本文内容仅为学术论文信息解读,不构成模型训练落地指导,论文效果基于特定实验环境与模型,实际落地效果受基座模型、数据集、硬件等条件影响,相关技术细节请参考论文原文。
