↑

银河通用重磅发布全球首个端到端具身抓取基础大模型 GraspVLA,定义全合成大数据预训练新范式!

北京银河通用机器人|阅读 0
2025/01/10 03:12
原文链接:https://mp.weixin.qq.com/s/kFHggswjt8z9xHp_3Hg2IQ
银河通用GraspVLA具身智能端到端大模型合成数据
银河通用联合北京大学、香港大学发布全球首个端到端具身抓取基础大模型 GraspVLA,基于十亿帧合成数据预训练,实现七大泛化能力,并通过小样本后训练快速适配特定场景,为具身智能商业化提供新范式。

声明:文档由AI根据原文生成。

亮相CES后再发重磅成果

在刚刚结束的 NVIDIA CES 2025 发布会上,银河通用旗下机器人 Galbot 现身英伟达创始人黄仁勋演讲现场,托举起新一代显卡 RTX 5090。随后,Galbot 又在展位向黄仁勋展示无人零售取货能力。这场高规格亮相一周后,银河通用于 1 月 10 日正式发布全球首个端到端具身抓取基础大模型 GraspVLA,回应外界对其技术实力的关注。

模型架构:预训练+后训练两段式

GraspVLA 由银河通用联合北京大学、香港大学研究人员共同开发,采用预训练与后训练相结合的结构。预训练阶段完全基于合成数据,数据规模达到十亿帧「视觉-语言-动作」对,使模型掌握泛化闭环抓取能力;预训练完成后,模型可直接从仿真迁移至真实环境(Sim2Real),在未见过的场景和物体上零样本测试。针对特定需求,后训练仅需少量真实数据即可迁移基础能力,形成专业技能。

七大泛化能力零样本验证

研究团队首次提出 VLA 基础模型应满足的七大泛化标准,全部通过未见场景零样本测试验证:

光照泛化测试

光照泛化。咖啡厅、便利店、生产车间等不同光照条件下,模型表现稳定,极端黑暗环境中移动目标也能准确抓取。

背景泛化测试

背景泛化。面对不同材质纹理的桌面、操作台及动态变化背景,模型不受干扰。

平面位置泛化测试

平面位置泛化。物体在桌面上随意平移、旋转,模型仍可正常抓取。

空间高度泛化测试

空间高度泛化。高低错落的工作台上,模型可从容应对。

动作策略泛化

动作策略泛化。模型实时推理决策,根据物体和夹爪位姿自动调整策略,处理竖放、倒放等复杂情况。

动态干扰泛化测试

动态干扰泛化。工作空间中随意添加干扰物体或发生撞击使目标移位,模型仍能稳定完成任务。

物体类别泛化测试1

物体类别泛化测试2

物体类别泛化。通过联合训练仿真动作数据与互联网语义数据,模型能将已掌握的动作能力迁移至未学习过动作数据的新物体类别。

小样本后训练快速适配场景

预训练模型已满足大多数应用需求,针对特殊需求可通过少量真实数据快速微调:

商超场景:按序抓取。针对一箱怡宝矿泉水采集少于一人天的遥操作数据,模型学会按顺序抓取同类商品,并能自动迁移至农夫山泉、东方树叶等其他品牌饮品。

商超按序抓取训练

工业场景:掌握新词汇。针对接线座、三角板、黑色软管等特殊工业零件,少量轨迹数据即可让模型精准识别并抓取。

工业零件识别训练前

工业零件识别训练后

家庭场景:对齐人类偏好。采集少量带偏好的抓取轨迹,模型即可学会抓取杯子时避免触碰内壁等符合人类习惯的行为。

对齐前

对齐后

技术路线与行业瓶颈

银河通用指出,当前具身通用机器人发展面临两大瓶颈:一是真实数据采集昂贵且难以覆盖全场景,硬件迭代还会导致数据失效;二是数据缺乏直接限制机器人泛化性与通用性,难以实现规模商业化。

GraspVLA 的技术路线以合成大数据预训练为核心,借助英伟达 Isaac 平台提升数据物理真实性与渲染并行度,一周内可生成十亿级三模态数据集。该方案在人力、资金投入上低于真实数据采集,且硬件更新时可快速重新生成数据,避免沉没成本。

研究团队表示,GraspVLA 的基座属性使通用机器人落地愿景——「一人一天完成产品部署」成为可能。未来将持续推出覆盖多技能的具身基础大模型,整合从抓到放、从关节类物体到柔性物体操作等任务的合成数据,推动人形机器人规模化应用。