↑

GigaBrain-0.5M*:通过世界模型自我进化的VLA大模型

北京极佳视界|阅读 0
2026/02/13 08:00
原文链接:https://www.gigaai.cc/blog/gigabrain05
GigaBrainVLA模型世界模型RAMP强化学习机器人操作
极佳视界提出GigaBrain-0.5M*,通过世界模型预测未来状态与价值信号,引导VLA策略在强化学习中持续进化,在叠衣、冲煮咖啡、折纸盒等真实任务中实现零失误稳定运行。

声明:文档由AI根据原文生成。

核心思路:让策略"看得见未来"

机器人叠衣服时,袖口打滑、衣物转个角度、夹爪偏了几厘米——这些真实场景中的微小偏差会不断累积,最终让策略滑入训练中极少见过的状态。这是"直接从当前观测预测多步动作块"的VLA模型不够稳健的关键原因:缺少预判下一步并尽早纠偏的机制。

北京极佳视界的解法是让策略"看得见未来"。GigaBrain-0.5M*将大规模视频语料预训练的世界模型作为紧凑"教练",由其预测未来状态的隐变量与价值信号,VLA在强化学习中以这些预测为条件进行决策。该方法在GigaBrain-0.5基础上(10,000+小时机器人操作数据预训练),采用RAMP(Reinforcement leArning via world Model-conditioned Policy)持续用模型rollout数据自我提升。

混合数据来源:合成想象与真实传感

扩展机器人学习需在覆盖面与落地性之间取舍。GigaBrain-0.5的预训练数据共10,931小时,其中61%(6,653小时)由世界模型GigaWorld合成,覆盖新纹理、视角与物体位置;其余39%(4,278小时)来自真实机器人集群与公开基准。

RAMP训练:四步循环

RAMP是一套持续学习范式,核心在于边更新世界模型与策略,边采集更高质量rollout:

  • 在大规模机器人操作数据上预训练世界模型,预测未来状态及对应价值
  • 以世界模型预测为条件微调策略,指导动作选择
  • 将条件策略部署到真实环境,在人类在环干预下采集rollout轨迹
  • 用筛选后的rollout数据联合优化世界模型与策略

该设计受π0.6*中RECAP启发,两者均通过附加信息对VLA条件化。RECAP仅使用稀疏优势(0或1)作为输入,信息增益有限;RAMP则利用预训练充分的世界模型预测的未来状态,提供更丰富的条件信号。理论分析表明,RECAP是RAMP的一种特例。

实验结果:接近满成功率

GigaBrain-0.5M*在家庭叠衣、服务冲煮咖啡、工业折纸盒等真实任务中达到接近满成功率,且能连续多次稳定运行。

为公平对比,研究团队保持相同基础模型,仅改变强化学习方式:

  • GigaBrain-0.5 + AWR:基于策略rollout的加权模仿学习在线微调
  • GigaBrain-0.5 + RECAP:优势条件化离线RL基线,不使用未来状态预测
  • GigaBrain-0.5 + RAMP(即GigaBrain-0.5M*):以预测价值与未来状态隐变量为条件

RAMP在叠衣、冲煮咖啡、折纸盒任务上整体优于所有基线,其中折纸盒与冲煮咖啡任务相比π0.6*的RECAP提升约30%。

基础模型竞争力

GigaBrain-0.5在10k+小时机器人操作数据上预训练,经任务特定示范后训练。8个内部任务评测显示,相比GigaBrain-0、π0、π0.5等先前策略持续提升。

在公开RoboChallenge基准上,截至2026年2月9日,中间模型GigaBrain-0.1以51.67%平均成功率位列榜首,较π0.5的42.67%高出9个百分点。

世界模型为何有效

价值预测更快更准。以"未来看起来有多好"的估计做检验:基于VLM的方式延迟最高(A800上0.32秒/帧,SigLIP视觉编码器主导);仅用世界模型预测价值最快(0.11秒)但精度较低(MAE=0.0838,Kendall=0.7288);世界模型同时预测状态+价值则精度最佳(Kendall=0.8018,MAE=0.0621),速度仍具竞争力(0.25秒)。

多任务学习能力增强。纯示范模仿下策略只见"干净"轨迹;引入世界模型条件后,策略可"偷看"预测未来,在轨迹偏离时及时纠偏。实验显示,5,000–20,000 steps训练过程中收益持续可见,多任务训练下差距逐步拉大,20,000 steps时Box Packing成功率差距可达约30%。