声明:文档由AI根据原文生成。
长期以来,仿真技术主要服务于机器人行走、滚动和跳跃等运动控制训练。如今,这一技术正拓展至需要更细腻手感的领域——齿轮对齐、线缆连接及小型组件装配。这一转变成为2026年11月于美国德克萨斯州奥斯汀举行的机器人学习大会(CoRL)的核心议题。与此同时,"智能体机器人"范式应运而生,将前沿智能体技术与物理机器人系统结合,生成可解释的代码。
NVIDIA在本届CoRL上推出系列开放机器人技术,涵盖世界动作模型、仿真工具、基准测试及智能体工作流。该公司两篇论文入围最佳论文奖六强候选:GRAIL提出基于世界模型的数字化生成流水线,可自动生成3D资产及物理仿真场景;RoboTTT则将视觉运动上下文长度扩展至现有最先进策略的三个数量级以上,且不增加推理延时。
NVIDIA正与Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、诺亦腾机器人、西门子、Skild AI、RLWRLD、加利福尼亚大学伯克利分校、Walden Robotics及华盛顿大学等机构合作,推动上述成果向更广泛社区开放。
更高级别的机器人自主能力要求系统感知环境、预判行动后果,并以高精度执行多步骤任务。NVIDIA发布的GR00T 2正是为此设计。该模型基于NVIDIA Cosmos构建,利用多样化机器人及人类数据训练,包含10万小时开源人类第一视角数据。
GR00T 2的核心表现包括:零样本条件下50项评估任务中40项至少成功一次;支持跨机器人本体技能迁移,无需额外机器人演示;单样本示范下50项任务平均成功率71%,五样本提升至95%。AI智能体可调用其API及工具链顺序执行技能,并在出错时自主恢复。
目前,GR00T 2在RoboCasa365、RoboLab、RoboDojo和MolmoSpaces等基准测试的视觉-语言-行动模型及世界动作模型类别中均位列前三,多次登顶排行榜。
产业应用方面,Nexuni正测试将其用于机器人衣物分拣;富士康已应用于服务器制造工厂自动化;西门子评估多个工业用例。MicroAGI则借助经强化学习后训练的GR00T 2,通过YAM机械臂执行以太网线缆更换任务,采用智能体机器人方法依托Isaac Lab 3.0和Newton实现仿真环境自主创建与校准。
数据层面,NVIDIA开放"视频转数据"工作流,可将人类视频转化为仿真用机器人示范,并发起相关技术挑战赛。其EgoHand开放模型自发布两周内在Hugging Face下载量突破4万次,该模型基于诺亦腾机器人数据训练,实现3D手部运动重建。
预训练模型为机器人奠定核心技能,仿真则支持大规模训练、优化与评估。NVIDIA开源框架Isaac Lab的最新版本3.0允许研究人员利用智能体及仿真就绪资产快速搭建环境,在NVIDIA PhysX与Newton物理求解器间灵活切换,为基于感知的训练选择渲染器,并将强化学习后训练库应用于GR00T等基础模型。
得益于与开源物理引擎Newton的深度集成,Isaac Lab现已支持线缆、布料等可变形物体建模,以及复杂关节系统仿真。在基于视觉的灵巧操作基准测试中,搭载Newton的Isaac Lab 3.0训练吞吐量最高可达Isaac Lab 2.3的2.5倍。
社区拓展方面,Skild AI在CoRL发布基于Newton构建的刚体物理求解器STEEL,旨在利用Isaac Lab加速训练;Flexion展示Isaac Lab与Newton如何训练其融合推理与全身操控的Reflect模型;FieldAI使用Newton及基于NVIDIA Omniverse的Isaac Lab和Isaac Sim,训练非结构化真实环境部署策略;Dyna Robotics演示利用Isaac Lab并行仿真为其半人形机器人Taku训练全身控制器。
Walden Robotics运用Isaac Sim照片级真实感渲染训练制造与物流通用机器人;Dexmate探索编程智能体在Isaac Sim中演练优化操作策略后部署至Vega机器人。AlphaNIST系统在Isaac Lab中以单一策略掌握NIST装配任务板全部20项毫米级精密任务,训练成功率超98%,GPU耗时约为逐任务训练策略的1/39。支撑该技术的是华盛顿大学与NVIDIA联合提出的Success-Guided Sampling方法,将训练资源集中于成功率约50%的任务,支持突破百万并行环境规模。
德克萨斯大学奥斯汀分校计算机学院与Texas Robotics正使用Isaac Sim和Isaac Lab在仿真中训练机器人技能,使学生无需等待实体硬件即可开展开发。
NVIDIA Isaac Lab-Arena作为大规模策略评估开源框架,支持构建多样化、可重复的评测方案,在数千种变量条件下并行运行策略。分析结果可揭示失败条件,指导后续训练迭代。其0.4版开发者预览版在CoRL亮相。
两项基于Isaac Lab-Arena和Newton的全新开放基准同期发布。DexBench由RLWRLD与NVIDIA共同开发,将灵巧性评估从桌面实验拓展至真实工作流,涵盖零售、物流、制造和酒店服务四大场景15项任务,检验物体、空间布局及物理条件变化下的泛化能力。Genesis AI、mimic robotics等合作伙伴正参与抢先体验。团队可通过Bifrost评估平台Manifold直接运行DexBench,无需环境搭建,内置失败分析并提供初始免费额度。
VABAR(面向智能体机器人的变分自动化基准)由加利福尼亚大学伯克利分校与NVIDIA联合推出,从六个工业任务维度评估机器人能力,每项任务配备标准化变量条件、难度分级及成功指标。
完成复杂任务需协调多种技能并应对突发状况。加利福尼亚大学伯克利分校提出的Graph-as-Policy框架利用智能体将独立技能连接为可执行机器人程序,使用NVIDIA Isaac开放仿真技术测试并根据失败结果优化,以更少数据扩展开发规模,同时保持程序可解释性供工程师审查验证。
加利福尼亚大学伯克利分校机器人学教授Ken Goldberg评价:"智能体机器人是自1995年互联网诞生以来最令人振奋的技术进展。"Ambi Robotics、Bosch Research及西门子正探索将GaP应用于工业场景中的智能体机器人工作流。
![]()