↑

银河通用发布产品级端到端导航大模型TrackVLA

北京银河通用机器人|阅读 1
2025/06/05 05:21
原文链接:https://mp.weixin.qq.com/s/x08fP4TJF_S5XnX3LkRLZg
银河通用TrackVLA端到端导航具身智能零样本泛化
银河通用发布产品级端到端导航大模型TrackVLA,具备纯视觉感知、语言指令驱动与零样本泛化能力,机器狗可在超市等复杂场景中自主跟随、避障与交互,无需提前建图或遥操控制。

声明:文档由AI根据原文生成。

机器狗超市陪母子逛街视频走红,核心技术来自银河通用

儿童节前夕,一段机器狗在超市内灵活跟随母子二人、提包携物、穿梭于货架与人流之间的视频在社交平台传播。视频中,机器狗无需遥控,仅凭语音指令即可识别并跟随指定目标。该视频由银河通用机器人有限公司发布,为其前沿技术成果展示。

银河通用正式推出自主研发的产品级端到端导航大模型TrackVLA。该模型采用纯视觉环境感知,由自然语言指令驱动,端到端输出语言与机器人动作,属于"视觉-语言-动作"(Vision-Language-Action, VLA)架构,训练数据来自仿真合成动作。

"听→看→懂→走"闭环,无需建图与遥操

TrackVLA将感知、推理、运动与交互能力集成于单一模型。用户通过自然语言发出指令,如"跟着穿黑衣服灰裤子的人",系统自动识别目标并跟随。面对更复杂场景,模型也能理解"跟着前面带黄色头盔的人""跟着拿粉色袋子的人"等多属性描述。

与传统机器人"指令理解→环境感知→目标识别→路径规划"的模块化路径不同,TrackVLA从图像输入和语言指令直接推理运动输出,无需人为拆分步骤,也无需对工作环境提前建图。银河通用表示,该模型具备零样本(Zero-Shot)泛化能力,可在训练中未见过的新环境中自主导航。

八大能力:换人跟随、防认错、丢失找回、陌生环境部署

TrackVLA展示的核心能力包括:

目标切换与泛化跟随。指令"跟着妈妈"可即时识别对应目标,随时改为"换成跟孩子""换成跟小狗"等任意移动目标,并通过语音回复确认。

密集人流中的持续识别。通过空间理解与视觉记忆机制,在购物中心等多人相似穿着场景中避免"认错人"。

目标丢失后的推理找回。目标走出视野时,模型根据运动轨迹分析大致位置,重新规划路径找回。

陌生环境直接部署。不依赖额外采集数据,可在未训练的商场、电梯、游乐区等环境中长时间稳定跟随。

复杂场景避障。实时识别儿童、玩具、地面水渍等障碍物,分析可通行区域,结合自身构型推理合理路线。

光线变化鲁棒性。应对室外阳光、室内昏暗、电梯镜面反射、货架夹缝等条件,无需调参或切换模式。

远程可视守护。通过App实时查看机器人第一视角,主动提醒小朋友奔跑、老人跌倒等风险行为。

技能涌现。训练未涉及的跟随对象——如偶遇的动物犬——也能实现稳定跟随。

单一模型驱动多项长程验证

银河通用披露,TrackVLA在多个未训练过的真实场景中完成严格验证:超市人流货架间准确跟随母子;根据语音切换目标并在儿童玩耍时发出提醒;自主认知本体能力并推理分析;从电梯进入陌生商场完成连续跟随;人群密集服装店中稳定识别并避让干扰;目标消失后迅速重新定位。上述展示均由TrackVLA单一模型驱动。

银河通用将TrackVLA定位为"业界首个产品级端到端具身FSD大模型",称其从视觉感知、智能决策到物理执行构建闭环架构,为具身大模型机器人走进现实世界奠定通用能力基础。该模型将赋能不同形态机器人本体,应用场景涵盖家庭陪伴、老人守护、商场巡逻、室内物流等。