↑

蚂蚁灵波开源 LingBot-Touch:一套触觉表征让手感跨传感器、跨灵巧手复用

PromptTree|阅读 0
2026/11/11 07:35
蚂蚁灵波LingBot-Touch触觉感知灵巧手具身智能
蚂蚁灵波科技开源触觉基础模型 LingBot-Touch,基于近 5000 小时真实触觉数据预训练,覆盖磁触觉、视触觉与压阻式三类传感原理,把不同信号编码为统一触觉 Token。26 项真机测试显示,接入后四种动作模型的平均成功率提高约 14 至 26 个百分点。

机器人能看清物体在哪、能把手伸到正确位置,却常常在最后一厘米失败。原因不复杂:手指碰到物体之后,受力是否合适、物体是否滑移,这些信息被手指和物体本身挡住,视觉给不出答案。蚂蚁灵波科技 11 月 10 日开源的 LingBot-Touch,要解决的就是这最后一厘米。

主体与产品

蚂蚁灵波是蚂蚁集团体系内专注具身智能的公司,此前的通用大脑已覆盖高精度空间感知、高动态环境交互与可泛化灵巧操作。LingBot-Touch 是其触觉基础模型,命名上延续了 LingBot 系列,技术报告、模型与代码同步在 Hugging Face、GitHub 与魔搭社区开放。

模型基于近 5000 小时真实触觉数据预训练,覆盖磁触觉、视触觉、压阻式三类主流传感原理。它已接入 LingBot-VLA,把感知能力从"看得清楚"延伸到"摸得灵敏"。

为什么需要触觉

拧瓶盖是个好例子。深度信息能帮手指对准瓶盖,但开始转动后就出现分岔:瓶盖可能已经松动,也可能指腹正沿着盖壁打滑。这两种情况在画面里几乎一样,需要的动作调整却完全相反——前者该继续旋,后者该加压。指尖的接触位置、受力大小及其随时间的变化,才是判断依据。

同类任务还有很多:翻书页要在纸页边缘施加刚好的摩擦力,辨识麻将牌要靠指尖纹理,装配插接要靠力反馈判断是否到位。这些都不是视觉能独立完成的。

技术方案

真正棘手的是传感器不通用。同样一次接触,在不同传感原理与触点布局下会形成完全不同的原始信号。如果模型只学会解读其中一种,换传感器或换灵巧手后,原有数据与经验就难以复用,必须重新采集、训练、适配。在硬件快速迭代的阶段,这种绑定意味着重复开发。

LingBot-Touch 的解法是按传感原理分别设置编码入口,先处理各自不同的原始信号,再把不同布局的触点映射到统一的指尖坐标空间,由共享模型学习接触位置、受力及其随时间的变化,最终输出统一的触觉 Token。

这样一来,人戴触觉手套采集的数据与遥操作灵巧手采集的数据可以共同用于训练;不同动作模型也能复用同一套训练好的接触特征;架构上还为未来新增传感类型留了扩展位。

实测结果

团队在 Sharpa Wave 与 XHand1 两款灵巧手上做了 26 项真机测试,覆盖翻书页、拧瓶盖、辨识麻将牌等精细操作。接入 LingBot-Touch 后,LingBot-VLA、π0.5、Diffusion Policy 与 T-Rex 四种动作模型的平均任务成功率,较无触觉时提高约 14 至 26 个百分点。

最直观的一组是 T-Rex 控制 Sharpa Wave 拧瓶盖:不使用触觉时成功率 56.25%,直接输入传感器原始信号为 62.5%,接入 LingBot-Touch 的触觉表征后达到 90%。原始信号只带来 6 个百分点提升,说明"有数据"和"有可用的表征"是两件事。

跨硬件复用也在 XHand1 上做了验证。该灵巧手采用的磁触觉传感器型号并不在预训练数据中,模型学到的磁触觉经验全部来自人戴手套采集的数据。换到这只手后,团队保持 LingBot-Touch 参数不变,只用 XHand 的操作示范训练动作模型,依然取得效果。

工程取舍

端侧算力是硬约束。蚂蚁灵波提供两种容量的模型,26 项真机测试全部使用约 530 万参数的轻量版 LingBot-Touch-Tiny 完成;接入 LingBot-VLA、π0.5 与 T-Rex 后,模型参数量仅增加约 0.13% 至 0.16%。容量更大的 LingBot-Touch-Small 在感知测试中展现进一步提升潜力——预训练数据增至近 5000 小时时,模型仍能从新增数据中获益,说明触觉预训练还有扩展空间。

路线之争

针对近期具身大模型的技术路线演变,蚂蚁灵波 CEO 朱兴给出了明确判断:以 GPT-6 Astra、Claude Fable 5.2 为代表的数字世界大语言模型,确实增强了机器人的复杂任务推理与物理操作能力,这一点值得吸收;但产业一线的实践说明,要真正跑通操作闭环,物理操作泛化性这块硬骨头仍要靠具身基础模型自身突破。

他把两者关系定为 1+1>2 的协同:通用大模型增强对任务与环境的理解推理,具身基础模型提升物理感知与闭环操作。他还提到一个朴素前提——模态输入的质量很大程度上决定动作输出的质量,没有好的输入就没有好的输出。

对产业而言,开源一套跨传感器的触觉表征,价值不在单点性能,而在把"手感"从硬件绑定中解耦出来。传感器厂商可以按成本与任务选型,整机团队可以保留自己的动作策略,不必每换一种硬件与算法组合就重做一遍触觉能力。