全球首例！大模型机器人线下真机展示泛化干活技能

声明：文档由AI根据原文生成。

全球首例线下真机展示泛化技能

银河通用首个人形机器人GALBOT G1被称为"全球首例可以线下真机展示泛化干活技能的大模型机器人"。当前大模型虽涌现多能力"全能选手"，仍面临感知模态不足、实时性响应不足及泛化能力较弱等瓶颈。提升机器人在不同环境和任务下的执行成功率，是机器人大模型发展的核心目标之一。

在本月举办的2024中国人形机器人开发者大会上，北京大学助理教授、北京银河通用机器人有限公司创始人兼CEO王鹤发表"面向通用机器人的具身多模态大模型系统"主旨演讲，引发行业关注。

通用人形机器人的双重挑战

王鹤认为，"通用"不仅指形态人形化，更在于任务和环境上的通用性。任务通用要求机器人能执行抓取、放置、开抽屉、开柜子、送货等多种指令；环境通用则要求机器人能在各种地形自由穿梭，到达人类可至之处。

银河通用为此提出"基石层+能力层"结构。基石层打造通用本体，决定数据种类与质量；能力层在此基础上发展感知、决策与执行能力，形成完整系统。

本体创新：轮式腿与移动双臂

传统腿式人形机器人在泛化能力上仍有短板。GALBOT G1采用移动双臂与轮式腿设计，身高173cm，臂展190cm，躯干可提升65cm，操作范围覆盖0至240cm，实现360°全方位移动。

该机器人可在"跪姿"与"站立"模式间自主切换：抓取地面物体时放低重心，面对超过两米高度物品时抬升躯干，以此扩展工作空间。

合成数据驱动：零真实数据训练

数据是具身智能的关键。银河通用研究团队将家用电器等实际物体引入仿真环境，实现高度逼真的物理仿真。机器人拉抽屉时需沿特定方向施力，而非游戏中"一挥即开"，确保虚拟技能迁移至真实世界。

仿真世界中放置了丰富多样的物体，赋予其与真实世界相同的交互方式，并集成传感器收集训练数据。相关成果已获CVPR等顶级会议认可。

银河通用展示，机器人抓取透明、高光物体及在复杂光照条件下操作，完全基于合成数据训练，未使用任何真实世界数据。

大小脑协同的三层架构

谷歌视觉语言动作大模型因兼顾"大脑"与"小脑"功能，响应速度仅每秒1至3次；OpenAI小模型可达200赫兹。王鹤据此提出"大脑大模型+小脑大模型"分工：大脑负责语义理解与决策，小脑负责操作执行。

银河通用的具身大模型采用三层架构：底层硬件层、中间三维视觉合成数据驱动的技能层、上层图文大模型层。图文大模型低频调用，技能层高频执行，兼顾精准与速度。

端到端模型与语言导航

部分专家认为通用人形机器人将走向端到端具身大模型，类似特斯拉自动驾驶早期探索。银河通用的自然语言导航大模型无需深度传感器、激光雷达、里程计或箭图，仅凭RGB观测理解人类语言并行动，在嘈杂实验室环境中仍可精准执行指令。

王鹤表示，团队下一步将引入手部动作能力，实现手腿协同，构建首个机器人基础大模型。