看起来像硬质塑料,按下去却十分柔软——人类遇到这种冲突时,通常会信手感、改判断。但现有多模态模型往往更相信视觉,于是把橡胶判成塑料。
由戴盟机器人联合厦门大学、南京大学、大湾区大学、复旦大学完成的 Touch-R1,正是针对这个偏差。论文已被 NeurIPS 2026 接收,团队同时开源了数据集、基准、代码与模型。
触觉对机器人不是锦上添花。视觉能识别物体,却难以感知硬度、粗糙度、摩擦、形变与受力,面对透明、反光、被遮挡物体时更容易失效。抓取力度判断错了,轻则掉件,重则损物伤人。但让模型读懂触觉有三个难点:触觉数据稀缺,触觉物理推理数据更稀缺;软硬、粗糙这类属性是序数型而非类别型,不能当分类做;不同传感器的信号表现天然不同,判断要能保持一致。
数据侧,团队构建了 TouchReason-1M。覆盖 1000 余个日常物体、9 大类材料,汇集 DM-Tac X、GelSight Mini、Xense、Tac3D 四种视触觉传感器;关键在于没有简单拼接既有数据,而是统一接触方式——从初始接触按压至 20N,再以标准力完成六种探索动作,同步记录原始触觉图像、形变、切向变化、深度变化与物体接触视觉图像。最终包含 14,700 条有效触觉序列与 132.3 万个同步数据对,为跨传感器一致性学习建立共同物理参照。
模型侧是三阶段训练。第一阶段预测未来触觉帧,学接触的动态规律;第二阶段用结构化问答做监督微调,形成「感知—比较—结论」的推理链;第三阶段使用面向触觉设计的 GRPO 强化学习,并加入三类约束:跨传感器一致性奖励,消解异构传感器差异;序数奖励,让模型理解硬度、粗糙度的程度关系;结构化格式奖励与触觉输入扰动,逼它依据触觉证据推理,减少「只看图猜答案、答对但没摸懂」的捷径。
评测基准 TouchReason-Bench 用 4,800 组问答考察物理属性识别、序数推理、比较推理、跨传感器一致性以及视触觉冲突处理,另以 200 个训练阶段未见物体测泛化。Touch-R1-7B 在九项核心指标上均取得最优,综合得分 60.1,比触觉专用模型 Octopi-13B 的 41.7 高 18.4 分,比 GPT-4o 的 35.4 高约 24.7 分,比此前最强触觉模型 SToLa 的 47.5 高 12.6 分。
最能说明问题的是一个冲突案例:外观看似塑料块的物体,模型结合触觉形变与力—深度曲线识别出柔顺性,推翻视觉先验,改判为橡胶。它不只是同时接收视觉与触觉,而是在证据冲突时判断哪一种更值得信任。
边界也要写清楚。这是一项学术成果,7B 规模的模型在实验室基准上的领先,不等于在真实产线上稳定可用;数据集虽覆盖四种传感器,但真实世界的物体多样性、污染与磨损远超标定条件;跨传感器一致性目前在受控采集下验证,换到未标定的廉价传感器上是否成立,还需要单独测。
对具身智能的意义在于基础设施:触觉从「辅助感知」变成可推理、可评测、可迁移的核心模态。团队也表示,这项工作为其触觉锚定世界模型奠定了底层能力。观察点是三件事——真机抓取任务上的成功率增益、跨硬件迁移的衰减幅度,以及这套基准会不会被更多团队用来做横向对比。