↑

米哈游公开 Gamer 论文:8B 视觉语言动作模型连续玩《崩坏:星穹铁道》约五十小时

PromptTree|阅读 0
2026/11/22 09:02
米哈游VLAQwen3-VL强化学习
米哈游公开 Gamer 论文:8B 视觉语言动作模型连续玩《崩坏:星穹铁道》约五十小时
米哈游崩坏 AI 研发团队公开论文 Gamer,定位面向长流程、实时交互的通用视觉—语言—动作基础模型,演示版本基于 80 亿参数 Qwen3-VL-8B 训练,仅凭屏幕画面、任务指令与自身记忆输出键鼠操作。在覆盖五个主线篇章、约 50 小时的《崩坏:星穹铁道》评估中自主运行时间占比超过 95%,40 个未参与训练任务成功率经三阶段训练升至 49.7%。

米哈游崩坏 AI 研发团队 11 月 20 日前后公开论文《Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent》(arXiv:2611.18397),11 月 21 日中文技术社区集中跟进。

Gamer 定位为面向长流程、实时交互的通用视觉—语言—动作基础模型,演示版本基于 80 亿参数的 Qwen3-VL-8B 进一步训练,能仅凭屏幕画面、任务指令与自身记忆决定按哪些键、鼠标往哪里移动、何时点击并真正执行,不读取游戏内部接口或底层状态;演示中它可完成打 Boss、启动场景机关、跟随 NPC 跑图等操作。

训练分三阶段:持续预训练把不同游戏的录屏与玩家操作对齐成统一键鼠格式;监督微调使用约 1000 小时高质量《崩坏:星穹铁道》演示,把目标拆成具体操作、阶段性小目标与完整任务;在线强化学习阶段提出 TA-GRPO,把长流程拆成由记忆衔接的片段,用游戏环境核验结果(是否到达目标地点、是否完成当前任务)作为反馈更新模型。为解决长流程中的推理延迟与上下文膨胀,团队设计了两个工程机制:「稀疏思考」让模型沿确定路线直接操作,仅在路线失败、目标切换或出现新交互提示时展开推理;「记忆摘要」在旧记录移出上下文前先记下任务进度、失败尝试、重要地点与后续计划。

运行时模型每 200 毫秒读取一次画面,一次安排随后六个约 33 毫秒的动作块,对应 30Hz 控制节奏,配套的 Streaming-vLLM 推理引擎复用已处理上下文并提前吐出已核验的动作块以压低延迟。

论文给出的数据是:在覆盖五个主线篇章、总计约 50 小时的长流程评估中,Gamer 自主运行时间占比超过 95%;跨游戏四项公共基准上 Gamer-8B-CPT 平均得分 29.5,所列通用模型对照最高为 17.6;在七类小游戏、共 40 个未参与训练的任务中,基座模型成功率 3.2%,经持续预训练升至 15.0%、监督微调后 39.2%、加入强化学习后 49.7%,同场对照的通用模型最高为 17.1%。上述成绩均为论文自报。

团队在结尾指出,这类能力有望用于自动化测试、加快游戏迭代并支持新玩法机制以降低开发成本;论文列出八位共同一作,其中五位在米哈游实习期间参与项目。