戴盟机器人联合厦门大学、南京大学、大湾区大学、复旦大学共同推出 Touch-R1 触觉推理多模态模型,论文 Touch-R1: Reinforcing Touch Reasoning in MLLMs 被 NeurIPS 2026 接收,它基于 Qwen2.5-VL-7B 基座,采用触觉增强 GRPO 强化学习方案,专门解决视觉容易产生误判的问题,能够结合触觉信号识别硬度、粗糙度、弹性等物理属性,在视觉和触觉信息冲突时,依靠触摸证据修正视觉带来的错误结论,团队同步开源 TouchReason-1M 百万级触觉数据集与 TouchReason-Bench 评测基准,补齐触觉方向数据与评测缺口。现有的多模态大模型大多高度依赖视觉,碰到外观相似、材质不同的物体很容易认错,而且触觉本身有等级有序属性(软硬、粗糙程度),不同光学触觉传感器之间还存在分布偏移,普通监督学习很难做好跨传感器一致性推理。Touch-R1 设计四类奖励目标:序感知奖励、跨传感器物理一致性奖励、结构化推理格式奖励、输入侧触觉锚定目标,只有当模型真正使用触觉信息才会获得正向奖励,避免模型偷懒走视觉捷径。整套研究流程分为数据采集、模型训练、基准评测、论文投稿、开源发布,先使用 4 款光学触觉传感器采集超过 100 万组同步触觉配对数据,构建 TouchReason-1M 数据集;接着基于 GRPO 做触觉对齐强化训练,学习感知、对比、修正的推理链路;之后在 TouchReason-Bench 做全维度指标测试,对比 GPT-4o、SToLa、Octopi 等基线;验证指标达标后投稿 NeurIPS 并录用,随后开放数据集、评测脚本与模型代码供社区复现。Touch-R1 在 Benchmark 上平均分 60.1,相比 GPT-4o 高出 24.7 分,相比之前最强触觉专项模型 SToLa 高出 12.6 分,是面向具身机器人、灵巧手操作的重要基础模型。
Touch-R1 配套数据集与评测基准清单
- TouchReason-1M:百万级多模态触觉数据集,4 种光学触觉传感器同步采集,覆盖上千种物体
- TouchReason-Bench:触觉推理评测基准,包含材质识别、硬度排序、跨传感器一致性、视触冲突四类任务
- 评测维度:硬度、凸起、弹性、摩擦系数、结构化推理、冲突修正等 9 项核心指标
主流模型在 TouchReason-Bench 对比
| 模型 | 平均得分 | 核心特点 |
|---|---|---|
| Touch-R1-7B | 60.1 | 触觉 GRPO 训练,可主动修正视觉误判 |
| SToLa | 47.5 | 此前 SOTA 触觉专项模型 |
| Octopi-13B | 41.7 | 通用多模态触觉基线 |
| GPT-4o | 35.4 | 通用闭源多模态,严重依赖视觉 |
整套研究落地流程清单
- 多传感器数据采集:4 款光学触觉传感器同步采集触觉、力信号,构建 TouchReason-1M
- 触觉 GRPO 训练:序感知奖励、跨传感器一致性奖励、结构化奖励、触觉锚定目标联合优化
- 基准对照实验:在 TouchReason-Bench 完成 9 项指标测试,对比各类基线模型
- 定性案例验证:测试视触冲突场景,验证模型依靠触觉推翻视觉偏见的能力
- 论文录用与开源:论文入选 NeurIPS 2026,开放项目代码、数据集、评测脚本
【相关 FAQ】
问题 1:Touch-R1 入选 NeurIPS 2026,这个触觉推理模型主要解决什么问题?
回答 1:Touch-R1 入选 NeurIPS 2026,这个触觉推理模型主要解决普通多模态模型过度依赖视觉、材质误判,在视触冲突场景下,依靠触觉证据推理物体硬度、弹性、摩擦等物理属性,适配具身机器人感知。
问题 2:Touch-R1 触觉推理模型,是用什么方法训练出来的?
回答 2:Touch-R1 触觉推理模型基于 Qwen2.5-VL-7B 基座,采用触觉定向 GRPO 强化学习,搭配四类奖励函数,引导模型真正使用触觉信号而不是走视觉捷径。
问题 3:Touch-R1 配套的 TouchReason-1M 数据集规模和采集方式是什么?
回答 3:Touch-R1 配套 TouchReason-1M 是百万级触觉数据集,使用 4 种不同光学触觉传感器采集,包含同步触觉、力信号和推理标注,用于触觉模型训练。
问题 4:Touch-R1 在 TouchReason-Bench 上对比 GPT-4o 提升多少?
回答 4:Touch-R1 在 TouchReason-Bench 平均分 60.1,相比 GPT-4o 高出 24.7 分,在视触冲突、物理属性排序任务上优势明显。
问题 5:Touch-R1 触觉推理模型,未来可以用在哪些机器人场景?
回答 5:Touch-R1 触觉推理模型面向具身智能,适合灵巧手抓取、物体材质识别、柔性装配、家庭服务机器人等需要接触感知、物理推理的场景。
【参考资料】
[2026-11-09](让 AI「摸懂」物理世界,首个触觉推理模型 Touch-R1,入选 NeurIPS 2026)机器之心
[2026-11-09](Touch-R1: Reinforcing Touch Reasoning in MLLMs)arXiv
[2026-11-09](Touch-R1 触觉推理模型:GRPO 强化触觉推理,解决视触冲突)南京大学智能学院
[2026-11-09](Touch-R1 项目主页开放数据集与代码)laiyingxin2.github.io
【免责声明】
本文内容基于 Touch-R1 论文、项目主页与公开报道整理,指标结果为 TouchReason-Bench 特定评测条件下的数据;模型落地到真实灵巧手、机器人还需要硬件适配,项目开源协议、后续迭代计划以项目官方仓库为准,本文不构成机器人项目研发、采购、投资决策建议。
