您的位置首页 >要闻 > 人工智能 >

NeurIPS 2026|小红书内容智能与生成组 AIGC 算法团队提出 DeCoRL,多图合成一致性优化新方案

小红书内容智能与生成组 AIGC 算法团队的 DeCoRL 论文入选 NeurIPS 2026,这是一套基于分解一致性强化学习的多图合成算法,专门解决多参考图合成时,参考图越多、物体身份、外观一致性越容易崩坏的行业痛点,传统监督微调 SFT 只能给整张合成图做隐式监督,很难在多个参考图之间建立稳定的物体对应关系,经常出现同一个物体换脸、变形、特征丢失。DeCoRL 思路是把整张图的一致性拆解到单个物体层面,先在多张参考图里找到和指令相关的对应物体,定位生成图里对应的区域,再用经过单物体一致性标注训练的 VLM 奖励模型,输出细粒度的物体级反馈,汇总成多目标一致性奖励,用来做强化学习后训练。团队还配套搭建了 DeCo-Bench 评测基准,覆盖 2 到 6 张参考图的合成场景,在 DeCo-Bench 和公开 MICo-Bench 上测试,多图合成一致性指标相比基线有明显提升,适合小红书笔记拼图、多素材融合、商品图组合生成这类业务场景。

DeCoRL 核心技术流程

步骤说明
1. 跨参考图物体匹配根据用户指令,在多张参考图之间建立物体对应关系,锁定目标物体
2. 生成图区域定位在模型输出的合成图中定位对应物体区域,做局部对齐
3. VLM 奖励模型打分用单物体一致性标注训练的 VLM,对每个物体单独给一致性反馈
4. 奖励聚合把多个物体的打分合并成统一多目标一致性奖励
5. 强化学习后训练用聚合奖励微调生成模型,提升多图合成稳定性

DeCoRL 与传统方案对比

  • 传统 SFT 监督微调:只对整张合成图像做全局损失,缺少物体层面显式约束,参考图数量增加后一致性快速下滑
  • DeCoRL:拆解到物体粒度,局部显式约束,参考图从 2 张增加到 6 张,一致性衰减幅度更小
  • 评测基准:新增 DeCo-Bench,专门针对多图合成任务,填补多参考图场景评测数据集不足的问题

落地适配场景清单

  1. 小红书笔记素材合成:多张参考图里的穿搭、饰品、场景元素融合到一张图
  2. 电商商品图组合生成:多件商品素材合成,保证商品外观、细节不跑偏
  3. 创意拼贴类 AIGC:多素材融合、故事类连续画面生成
  4. 图像编辑与重绘:多参考图驱动的局部编辑,保留物体身份特征

现存局限

  1. 依赖 VLM 奖励模型的识别精度,物体形态复杂、遮挡严重时,奖励信号会变差
  2. 参考图数量继续增加到 6 张以上,依然会出现一致性下降,只是比原有方案好很多
  3. 目前主要聚焦物体一致性,光影、透视、风格统一还需要额外模块配合

【相关 FAQ】

问题 1:NeurIPS 2026|小红书内容智能与生成组 AIGC 算法团队提出 DeCoRL,多图合成一致性优化新方案,DeCoRL 是什么?

回答 1:NeurIPS 2026|小红书内容智能与生成组 AIGC 算法团队提出 DeCoRL,多图合成一致性优化新方案,DeCoRL 全称 Decomposed Consistency Reinforcement Learning,是分解一致性强化学习框架,用来优化多参考图合成时物体一致性。

问题 2:NeurIPS 2026|小红书内容智能与生成组 AIGC 算法团队提出 DeCoRL,多图合成一致性优化新方案,DeCoRL 主要解决什么痛点?

回答 2:NeurIPS 2026|小红书内容智能与生成组 AIGC 算法团队提出 DeCoRL,多图合成一致性优化新方案,主要解决多图合成任务里,参考图越多,物体身份、外观一致性越容易崩坏,传统 SFT 缺少物体级显式监督的问题。

问题 3:NeurIPS 2026|小红书内容智能与生成组 AIGC 算法团队提出 DeCoRL,多图合成一致性优化新方案,DeCo-Bench 是什么?

回答 3:NeurIPS 2026|小红书内容智能与生成组 AIGC 算法团队提出 DeCoRL,多图合成一致性优化新方案,DeCo-Bench 是团队配套构建的评测基准,覆盖 2 至 6 张参考图的多图合成案例,用来量化评估模型一致性。

问题 4:NeurIPS 2026|小红书内容智能与生成组 AIGC 算法团队提出 DeCoRL,多图合成一致性优化新方案,DeCoRL 适合哪些业务场景?

回答 4:NeurIPS 2026|小红书内容智能与生成组 AIGC 算法团队提出 DeCoRL,多图合成一致性优化新方案,适合小红书笔记素材融合、电商多商品合成、多素材创意拼贴、多参考图驱动图像编辑等场景。

【参考资料】

[2026-10-29](DeCoRL: Decomposed Consistency Reinforcement Learning for Multi-Image Composition)arXiv

[2026-11-01](小红书 DeCoRL 入选 NeurIPS 2026,聚焦多图合成一致性)机器之心

[2026-11-02](NeurIPS 2026 论文速递:小红书 DeCoRL 多图合成算法解读)AI 科技评论

[2026-11-03](小红书 AIGC 团队 DeCoRL,面向内容平台多素材图像生成)36 氪

【免责声明】

以上资讯仅为学术论文信息整理,不构成技术选型或者产品落地承诺;DeCoRL 现阶段为学术研究方案,线上产品落地版本、效果以小红书官方后续发布为准;论文实验效果基于指定评测集,不同模型底座、素材场景下效果存在差异。