北京大学与银河通用提出DyWA模型，实现非抓握操作零样本迁移

声明：文档由AI根据原文生成。

研究背景：机器人需要"推"和"翻"的本事

当前视觉语言操作模型（VLA）大多停留在抓取与放置的准静态模式，而人类日常操作中推动、翻转等非抓握动作更为常见。薄银行卡需先推至桌边才能拾起，宽大盒子往往要先翻转立起——这类不依赖夹取的技能统称为非抓握操作（Non-prehensile Manipulation），在薄片、大型物体及密集场景中不可或缺。

非抓握操作面临双重挑战：一是接触建模复杂，摩擦力、质量分布等物理属性的微小变化会导致轨迹完全不同；二是现实感知受限，单视角点云遮挡严重，多视角系统又难以部署。现有学习方法多依据几何信息推理动作，缺乏对摩擦、质量等动力学属性的适应能力。

核心方法：让机器人"想象"动作后果

北京大学计算机学院与银河通用机器人公司联合提出的Dynamics-adaptive World Action Model（DyWA），采用教师-学生框架，将基于全知信息训练的强化学习教师策略在线蒸馏给仅接收点云输入的学生模型。

与传统方法仅输出动作不同，DyWA同时预测动作带来的未来状态，使机器人在训练中隐式建模物理动力学过程。其动力学自适应模块通过分析历史观测与动作序列，推理环境隐含的物理属性，再经FiLM机制调控世界模型特征，动态调整施力策略。

该模型仅依赖单个深度相机点云输入，经大规模域随机化仿真训练后，可实现端到端的零样本真实迁移。

实验结果：仿真与真机全面验证

仿真benchmark显示，在已知物体状态（三视角点云）、未知物体状态（三视角及单视角点云）三种设置下，DyWA均显著优于基线方法，成功率超80%。

真机实验中，DyWA展现三方面泛化能力：对未见过几何形状的物体推送至目标6D位姿，成功率近70%，底重头轻的咖啡壶、半满水瓶均可稳健操作；自适应应对高摩擦瑜伽垫与低摩擦塑料板；具备闭环自适应能力，可在光滑瓶子翻转失败后调整策略直至成功。

此外，DyWA可与抓取策略及视觉语言大模型协同，先通过推送调整物体姿态再由抓取策略完成，提升复杂场景整体成功率。

该研究已被ICCV 2025接收。论文第一作者为北京大学计算机学院前沿计算研究中心博士生吕江燃，通讯作者为北京大学王亦洲教授与北京大学助理教授、银河通用创始人及CTO王鹤。