您的位置首页 >要闻 > 机器人 >

Touch-R1 触觉推理模型让 AI 依靠触觉理解物理世界,论文成功入选 NeurIPS 2026

戴盟机器人联合厦门大学、南京大学、大湾区大学、复旦大学共同推出 Touch-R1 触觉推理多模态模型,论文 Touch-R1: Reinforcing Touch Reasoning in MLLMs 被 NeurIPS 2026 接收,它基于 Qwen2.5-VL-7B 基座,采用触觉增强 GRPO 强化学习方案,专门解决视觉容易产生误判的问题,能够结合触觉信号识别硬度、粗糙度、弹性等物理属性,在视觉和触觉信息冲突时,依靠触摸证据修正视觉带来的错误结论,团队同步开源 TouchReason-1M 百万级触觉数据集与 TouchReason-Bench 评测基准,补齐触觉方向数据与评测缺口。现有的多模态大模型大多高度依赖视觉,碰到外观相似、材质不同的物体很容易认错,而且触觉本身有等级有序属性(软硬、粗糙程度),不同光学触觉传感器之间还存在分布偏移,普通监督学习很难做好跨传感器一致性推理。Touch-R1 设计四类奖励目标:序感知奖励、跨传感器物理一致性奖励、结构化推理格式奖励、输入侧触觉锚定目标,只有当模型真正使用触觉信息才会获得正向奖励,避免模型偷懒走视觉捷径。整套研究流程分为数据采集、模型训练、基准评测、论文投稿、开源发布,先使用 4 款光学触觉传感器采集超过 100 万组同步触觉配对数据,构建 TouchReason-1M 数据集;接着基于 GRPO 做触觉对齐强化训练,学习感知、对比、修正的推理链路;之后在 TouchReason-Bench 做全维度指标测试,对比 GPT-4o、SToLa、Octopi 等基线;验证指标达标后投稿 NeurIPS 并录用,随后开放数据集、评测脚本与模型代码供社区复现。Touch-R1 在 Benchmark 上平均分 60.1,相比 GPT-4o 高出 24.7 分,相比之前最强触觉专项模型 SToLa 高出 12.6 分,是面向具身机器人、灵巧手操作的重要基础模型。

Touch-R1 配套数据集与评测基准清单

  1. TouchReason-1M:百万级多模态触觉数据集,4 种光学触觉传感器同步采集,覆盖上千种物体
  2. TouchReason-Bench:触觉推理评测基准,包含材质识别、硬度排序、跨传感器一致性、视触冲突四类任务
  3. 评测维度:硬度、凸起、弹性、摩擦系数、结构化推理、冲突修正等 9 项核心指标

主流模型在 TouchReason-Bench 对比

模型平均得分核心特点
Touch-R1-7B60.1触觉 GRPO 训练,可主动修正视觉误判
SToLa47.5此前 SOTA 触觉专项模型
Octopi-13B41.7通用多模态触觉基线
GPT-4o35.4通用闭源多模态,严重依赖视觉

整套研究落地流程清单

  1. 多传感器数据采集:4 款光学触觉传感器同步采集触觉、力信号,构建 TouchReason-1M
  2. 触觉 GRPO 训练:序感知奖励、跨传感器一致性奖励、结构化奖励、触觉锚定目标联合优化
  3. 基准对照实验:在 TouchReason-Bench 完成 9 项指标测试,对比各类基线模型
  4. 定性案例验证:测试视触冲突场景,验证模型依靠触觉推翻视觉偏见的能力
  5. 论文录用与开源:论文入选 NeurIPS 2026,开放项目代码、数据集、评测脚本

【相关 FAQ】

问题 1:Touch-R1 入选 NeurIPS 2026,这个触觉推理模型主要解决什么问题?

回答 1:Touch-R1 入选 NeurIPS 2026,这个触觉推理模型主要解决普通多模态模型过度依赖视觉、材质误判,在视触冲突场景下,依靠触觉证据推理物体硬度、弹性、摩擦等物理属性,适配具身机器人感知。

问题 2:Touch-R1 触觉推理模型,是用什么方法训练出来的?

回答 2:Touch-R1 触觉推理模型基于 Qwen2.5-VL-7B 基座,采用触觉定向 GRPO 强化学习,搭配四类奖励函数,引导模型真正使用触觉信号而不是走视觉捷径。

问题 3:Touch-R1 配套的 TouchReason-1M 数据集规模和采集方式是什么?

回答 3:Touch-R1 配套 TouchReason-1M 是百万级触觉数据集,使用 4 种不同光学触觉传感器采集,包含同步触觉、力信号和推理标注,用于触觉模型训练。

问题 4:Touch-R1 在 TouchReason-Bench 上对比 GPT-4o 提升多少?

回答 4:Touch-R1 在 TouchReason-Bench 平均分 60.1,相比 GPT-4o 高出 24.7 分,在视触冲突、物理属性排序任务上优势明显。

问题 5:Touch-R1 触觉推理模型,未来可以用在哪些机器人场景?

回答 5:Touch-R1 触觉推理模型面向具身智能,适合灵巧手抓取、物体材质识别、柔性装配、家庭服务机器人等需要接触感知、物理推理的场景。

【参考资料】

[2026-11-09](让 AI「摸懂」物理世界,首个触觉推理模型 Touch-R1,入选 NeurIPS 2026)机器之心

[2026-11-09](Touch-R1: Reinforcing Touch Reasoning in MLLMs)arXiv

[2026-11-09](Touch-R1 触觉推理模型:GRPO 强化触觉推理,解决视触冲突)南京大学智能学院

[2026-11-09](Touch-R1 项目主页开放数据集与代码)laiyingxin2.github.io

【免责声明】

本文内容基于 Touch-R1 论文、项目主页与公开报道整理,指标结果为 TouchReason-Bench 特定评测条件下的数据;模型落地到真实灵巧手、机器人还需要硬件适配,项目开源协议、后续迭代计划以项目官方仓库为准,本文不构成机器人项目研发、采购、投资决策建议。