↑

跨维智能发布全球首个机器人任务原生3D世界模型UNITAS

深圳跨维智能|阅读 1
2026/10/13 02:12
原文链接:https://mp.weixin.qq.com/s/zsMm-bNJtBjcEIF69WM9xg
具身智能世界模型3D原生跨维智能机器人操作
跨维智能发布全球首个机器人任务原生3D世界模型UNITAS,以三维物理空间为统一表示,仅凭1.7B参数在LIBERO、RoboTwin等多项基准测试中超越6B至8B规模模型,真实机器人任务平均成功率达85%。

声明:文档由AI根据原文生成。

跨维智能发布UNITAS:探索Physical AI统一表示空间

2026年10月13日,跨维智能(DexForce)发布全球首个机器人任务原生3D世界模型UNITAS(A 3D-Native World Action Model for Embodied Manipulation),探索为Physical AI建立统一表示空间的新路径。该模型核心观点为:三维物理世界本身应成为机器人理解世界的原生表示空间。

三维空间作为机器人"原生语言"

大语言模型通过将各类知识统一至文本空间实现学习与迁移,而机器人面临的现实数据具有天然异构性:视觉信息来自摄像头,动作信息来自不同本体控制系统,环境变化对应物体真实空间运动,缺乏统一表达方式。

UNITAS提出"3D原生"(3D-Native)技术路线,区别于以往将3D作为辅助信息的"3D感知"方法。其核心在于:模型主干直接处理三维Token,将三维空间作为观察、行动和环境变化的共同表示,而非通过图片Token作为桥梁。具体而言:

  • 观察(Observation)对应环境中物体的三维位置关系;
  • 动作流(Action Flow)对应机器人末端执行器或人手的运动轨迹;
  • 场景流(Scene Flow)对应物体受动作影响后的运动变化。

三者于同一三维坐标系中联合建模,使模型既能生成可执行动作,也能预测未来世界变化。

多源数据统一:人手、夹爪与机器人的共同语言

机器人数据高度分散,来源涵盖仿真、真机采集与人类操作示范,且不同机械结构与控制方式各异。UNITAS将各类操作端转换为三维空间中的点轨迹,使仿真数据、真机数据与人类双手数据进入同一空间学习。

为实现多源数据统一,UNITAS提出两项关键模块:

  • 世界对齐的3D位置嵌入(World-Aligned 3D Position Embedding):为观察、动作流和场景流引入统一三维坐标编码,并可补全缺失深度信息,适配RGB-D与RGB数据;
  • 物理时间轨迹编码器(Physical Time Trajectory Encoder):按轨迹点实际物理时间编码,将不同采样频率(如10Hz与30Hz)与不同持续时长的轨迹转换至统一特征空间。

论文显示,混合九个数据来源预训练后,LIBERO-Plus整体成功率提升2.6个百分点;面对机器人初始状态扰动时,成功率从84.8%提升至94.2%。

1.7B参数超越8B模型,多项基准测试领先

UNITAS以1.7B(17亿)参数规模,在多项机器人操作评测中表现如下:

测试项目成绩备注
LIBERO平均成功率99.8%长程任务子集LIBERO-Long达99.4%
LIBERO-Plus整体成功率89.1%七类扰动下保持能力,初始状态扰动下达94.2%
RoboTwin 2.0双臂操作(Clean)92.94%超越Fast-WAM(6B)、Motus(8B)
RoboTwin 2.0双臂操作(Randomized)93.04%超越Fast-WAM(6B)、Motus(8B)
场景运动预测误差0.427厘米较PointWorld的0.656厘米降低约35%
真实机器人任务平均成功率85%Organize Books达90%,Pack the Ball达80%

消融实验显示,将3D位置编码、动作流监督、动作流历史token三项核心设计去除后,模型退化为常规VLA基线,LIBERO-Plus整体成功率从86.47%降至67.58%,降幅近19个百分点。其中:3D位置编码对跨视角泛化关键;动作流监督对齐观测与动作空间;动作流历史token增强鲁棒性;场景流监督进一步将成功率从85.74%提升至86.47%。

生成式仿真与数据闭环

跨维智能自2021年成立以来持续建设具身智能基础设施。其自研DexVerse®生成式仿真引擎可根据多模态输入生成三维场景,结合物理仿真与传感器模拟构建虚拟世界;EmbodiChain具身智能工具链连接场景生成、数据扩增、模型训练与部署流程。

UNITAS与生成式仿真体系结合,形成"仿真生成—模型学习—真实验证—数据回流"的Physical AI数据闭环。论文显示,UNITAS的场景流监督主要来自仿真数据,但在DROID、RH20T等真实世界观测数据上,仅依据夹爪运动轨迹即可预测合理场景变化,展现从虚拟经验向真实环境的迁移能力。

开源信息与后续

跨维智能表示,愿与全球开发者、产业伙伴携手,推动具身智能成为下一代生产力的重要组成部分。