↑

英伟达在 CoRL 发布 GR00T 2 与 Isaac Lab 3.0:机器人竞赛从行走进到精细操作

PromptTree|阅读 1
2026/11/10 07:35
英伟达GR00TIsaacLabCoRL世界动作模型
在奥斯汀举行的机器人学习大会 CoRL 上,英伟达发布开放世界动作模型 GR00T 2、仿真框架 Isaac Lab 3.0 与两个新基准。GR00T 2 基于 Cosmos 构建,训练含 10 万小时开放第一视角人类数据,无任务专用演示时完成 50 项评测中的 40 项,单演示平均成功率 71%、五演示升至 95%。Isaac Lab 3.0 接入 Newton 物理引擎,视觉灵巧操作基准训练吞吐为上一代 2.5 倍。富士康已用于服务器制造产线。

机器人学习的焦点正在换赛道。过去几年,仿真主要用来教机器人走路、滚动、跳跃;今年在奥斯汀举行的机器人学习大会 CoRL 上,中心议题变成了对齐齿轮、连接线缆、组装小零件这类对手感要求极高的操作任务。英伟达在会上一口气发布了开放世界动作模型 GR00T 2、仿真框架 Isaac Lab 3.0 以及两个新基准,配套的是一整套「智能体机器人」(agentic robotics)的工作流。

先说 GR00T 2 是什么。它是一个基于 NVIDIA Cosmos 构建的世界动作模型(World Action Model),思路是让模型同时预测「未来画面会变成什么样」和「下一段动作该怎么走」——把视觉预见与动作生成放在同一个模型里,而不是先理解再规划再执行三段式。训练数据混合了多种来源:402730 小时第一视角人类视频、10184 小时手持夹爪演示(覆盖 2897 个任务)、23500 小时机器人遥操作数据,以及 10 万小时英伟达开源的人类第一视角数据(以 Human-1M-100K 名义开放,含视频、语言标注与头手运动数据,采用允许商用的 CC BY 4.0 许可)。

官方给出的能力指标有几个层次。开箱即用:在没有任务专用演示的情况下,50 项评测任务中完成了 40 项至少一次。少样本泛化:每任务只给一个演示,50 项任务平均成功率 71%;给到五个演示升到 95%,而这五个演示合计不到三分钟机器人数据,之后在单张 RTX 5090 上做约 30 分钟的适配器微调即可。跨本体迁移:从人类演示学到的技能可以转到不同机器人身体上,不需要该本体的遥操作数据,官方举的例子是从手持夹爪迁移到 YAM 机械臂,滤纸安装任务成功率 65%、玩具自卸车组装 60%。

有一处限定条件需要说明:那份「五演示 95%」的白皮书里写明,被评测的任务是从「模型能用五个 episode 达到 80% 以上成功率」的任务中挑选出来的,所以这个均值有一部分是构造出来的。这类口径披露得越清楚,越值得信任;但引用时最好带上限定。

榜单方面,GR00T 2 目前在 RoboCasa365、RoboLab、RoboDojo、MolmoSpaces 四个基准的视觉语言动作与世界动作模型类别中均位列前三,并有多次登顶。另一个细节是它的 agent 接口:AI agent 可以调用 GR00T 2 的 API 按顺序执行技能,并在出错时重试恢复——这把「动作模型」变成了可被上层智能体编排的技能库。

Isaac Lab 3.0 是配套的训练场。这个开源机器人学习框架其实在 10 月 20 日已正式可用,CoRL 上是集中展示。关键升级是接入开源物理引擎 Newton:支持刚体、可变形体与粒子,能对线缆、布料这类柔性物体以及多关节机器人手建模,很多工作流不再需要装完整 Isaac Sim。性能上,在基于视觉的灵巧操作基准中,Isaac Lab 3.0 搭配 Newton 的训练吞吐量最高是 2.3 版搭配 PhysX 的 2.5 倍,可支撑数千台仿真机器人并行训练。

最能说明工程价值的案例是 AlphaNIST。它把大规模仿真练习用在 NIST 装配任务板的 20 项任务上,零件最小到 4 毫米,只用一个「成功/失败」的二元奖励训练单一策略,官方报告的仿真训练成功率为 98.2%,而各任务独立训练的策略为 81.4%,GPU 时间约为后者的三十九分之一。背后是华盛顿大学与英伟达提出的成功引导采样(SGS):把练习集中在策略成功率约一半的配置上,也就是能力边界附近,该方法报告可扩展到超过一百万个并行仿真环境,并实现了基于 RGB 的装配策略到真实 UR5e 硬件的零样本迁移。

两个新基准补齐了评测层。DexBench v1.0 由 RLWRLD 与英伟达合作,含零售、物流、装配线与酒店餐饮场景的 15 项任务;VABAR 与伯克利合作,覆盖工具分拣与悬挂、齿轮啮合、注射器装箱、线缆插入与走线,背后有 33 项技能库,项目页说明当前两档难度构成验证集、更难的测试集还在准备。此外 Isaac Lab-Arena 提供可复现评测层,0.4 开发者预览在 CoRL 发布,失败分析能指出哪些条件需要再训一轮。

产业落地已经有具体名字:Nexuni 在测试衣物处理,富士康把 GR00T 2 用于服务器制造产线的工厂自动化,西门子在评估工业用例,MicroAGI 用它做以太网线更换(策略经强化学习后训练,环境用 Isaac Lab 3.0 与 Newton 自动搭建校准)。合作伙伴名单还包括 Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Skild AI、RLWRLD 与多所高校。

值得盯的是开放性兑现的节奏。官方称 GR00T 2 是开放模型,但研究页写明代码要到 12 月才提供——权重与代码不同步,是这一轮机器人基础模型发布的常见状态。对想复现的团队,接下来一个月的关键动作是盯住代码放出与第三方在真实硬件上的复现结果,而不是榜单名次。