戴盟机器人联合厦门大学、南京大学、大湾区大学、复旦大学共同提出 Touch‑R1,是一套面向多模态大模型、基于 GRPO 强化学习的触觉推理框架,论文《Touch‑R1: Reinforcing Touch Reasoning in MLLMs》已被 NeurIPS 2026 接收;团队同步开源 TouchReason‑1M 百万级触觉同步数据集与 TouchReason‑Bench 评测基准,用来训练、检验模型能不能依靠触觉证据,纠正视觉带来的误判,把模型认知锚定到真实物理接触之上。
现有多模态大模型大多重度依赖视觉,遇到 “看着硬、摸着软” 这类视觉触觉冲突场景很容易出错;硬度、粗糙度、弹性这类物理属性属于有序量,加上不同光学触觉传感器之间存在分布偏移,单纯靠监督学习很难学到可靠的触觉常识。Touch‑R1 以 Qwen2.5‑VL‑7B 为底座,设计一套触觉专属奖励机制,包含有序感知精度、跨传感器物理一致性、结构化推理约束,同时加入输入侧触觉锚定目标,强迫模型真正利用触觉信号,而不是靠物体类别捷径猜答案。在 TouchReason‑Bench 上,Touch‑R1‑7B 综合得分 60.1,比 SToLa 高出 12.6 个百分点,比 GPT‑4o 高出 24.7 个百分点;模型还涌现出试探、比对、自我修正的推理链条,证明 R1 式深度推理可以落地在物理触觉信号上。
如果想要接入、复现或者把 Touch‑R1 用于机器人项目,可以参考下面流程。
- 如果是算法研究者复现
- 如果是具身机器人团队集成
- 如果是行业跟踪
- 如果是硬件团队对接
第一步,访问项目主页,拉取即将开源的代码、数据集与评测脚本。
第二步,准备 TouchReason‑1M,它采集自四类光学触觉传感器,包含超过一百万组同步触觉配对数据,覆盖上千件物体。
第三步,复现触觉接地 GRPO,对照论文消融实验,验证有序奖励与触觉扰动目标的作用。
第四步,在 TouchReason‑Bench 的九项指标上对比基线,重点测试视触冲突场景。
第一步,确认触觉传感器输出格式,优先选用论文里兼容的光学触觉设备。
第二步,搭建视触同步采集管线,对齐图像帧与触觉帧时间戳。
第三步,把 Touch‑R1 作为感知后端,输出材料、软硬、摩擦、形变等结构化物理结论。
第四步,对接灵巧手、人形机器人操作策略,依靠触觉推理调整抓取力度。
第一步,跟进正式开源节奏,留意是否提供轻量化版本,适配板载低算力设备。
第二步,关注后续在真实机器人闭环操作任务上的落地结果,不只是离线 Bench。
第三步,对比其它触觉基座模型,看哪一条路线更容易对接现成触觉硬件。
第四步,观察这套基准会不会成为国内触觉智能领域通用评测标尺。
第一步,对照数据集里四种传感器规格,确认自家触觉硬件能否输出兼容信号。
第二步,采集新物体的触觉样本,对模型做领域微调。
第三步,评估延迟,区分离线推理和机器人在线闭环两种使用场景。
整套成果的核心价值不在于单纯识别触感,而是打通一条 “接触 — 证据 — 推理 — 修正” 的通路,为未来人形机器人、灵巧操作、遥操作赋予类似人类的触觉常识;项目主页、arXiv 预印本、GitHub 仓库均已上线,代码与数据集后续将对外公开,方便整个具身触觉社区继续迭代。
【相关 FAQ】
问题 1:Touch‑R1 是什么,为什么说它入选 NeurIPS 2026?
回答 1:Touch‑R1 是戴盟机器人联合多所高校提出的触觉推理多模态模型,论文已经被 NeurIPS 2026 接收;它使用触觉接地的 GRPO 强化学习,让模型依靠真实触觉证据判断物体物理属性,解决视触冲突。
问题 2:Touch‑R1 是基于哪个基座,配套数据集和评测基准叫什么?
回答 2:Touch‑R1 基于 Qwen2.5‑VL‑7B;配套数据集为 TouchReason‑1M,拥有百万级同步触觉对;评测基准是 TouchReason‑Bench,专门用来测试触觉感知、有序比较、跨传感器一致性与视触冲突。
问题 3:Touch‑R1 在基准上性能表现如何?
回答 3:Touch‑R1‑7B 在 TouchReason‑Bench 平均分达到 60.1,相比触觉专用模型 SToLa 高出 12.6 个百分点,相比 GPT‑4o 高出 24.7 个百分点。
问题 4:Touch‑R1 对人形机器人、灵巧手有什么意义?
回答 4:它让模型不再只相信视觉,可以借助触觉推理硬度、摩擦、形变,并且自我修正视觉误判;未来可以作为感知后端,帮助机器人判断抓取状态、调整握力,推进物理操作类具身智能落地。
【参考资料】
[2026‑11‑09](让 AI「摸懂」物理世界,首个触觉推理模型 Touch-R1,入选 NeurIPS 2026)机器之心 / 新浪财经
[2026‑05‑27] Touch‑R1: Reinforcing Touch Reasoning in MLLMs,arXiv
[2026‑11‑09](Touch‑R1 项目主页与 GitHub)laiyingxin2.github.io
[2026‑10‑10](南京大学‑戴盟机器人联合实验室)南京大学官网
【免责声明】
以上内容仅基于公开论文与媒体报道整理,Touch‑R1 的开源进度、真实机器人闭环表现、部署延迟,以项目团队后续发布为准;离线基准成绩不等于真实机器人操作效果,不构成采购、立项或者投资建议。
