让数字人「自己决定什么时候说话」,听起来是个产品细节,实际上是世界模型研究的一道分水岭。蚂蚁集团 inclusionAI 团队与西湖心辰联合发布的 Duo v1,把这个决策从外部调度逻辑搬进了模型内部,并提出了一个新范式:Reciprocal World Model(RWM,双向世界模型)。技术报告、代码与模型权重均已开源。
先说这个范式要解决的问题。主流世界模型的研究重心是模拟物理世界:给定过去的观测和控制信号,预测场景如何演化。在这个框架里,用户始终在世界外部,通过键盘、鼠标或文本指令施加控制;世界内部的角色是被观察、被操控的对象,没有自主性。RWM 的主张是,完整的世界模型不仅需要模拟物理场景,还要在内部承载能够自主感知、决策和表达的智能主体——它会持续接收用户的音视频输入,自主决定何时开口、何时倾听,并通过视听输出与真实用户交互。
Duo v1 用两个耦合模块实现这一构想。Intent 模块是虚拟主体的「大脑」:在约 0.7 秒的时间块内,它基于用户输入和交互历史,自主决策是开口说话还是继续等待,并同步生成语言内容。Realization 模块负责「表达」:以因果音视频扩散 Transformer 为核心,把 Intent 输出的隐状态转化为连贯的语音、表情与画面动作。两者通过隐状态而非解码文本衔接,且被严格约束在同一条时间线上——任何模块都不能访问未来输入,已生成的视听历史作为上下文参与后续生成。
延迟数据是这套系统工程含量的直接体现。按官方披露,Intent 模块单次推理耗时 90 至 160 毫秒,Realization 生成 720p 音视频潜变量需要 200 至 450 毫秒,加上约 40 毫秒的传输与显示开销,端到端延迟在 330 至 650 毫秒之间,与 0.7 秒左右的输入采样周期咬合。为了追上播放节奏,团队把 VAE 解码改为因果式增量解码,单个潜帧解码约 30 毫秒,低于 24 帧率下 41.7 毫秒的帧间隔。
训练分三个阶段:先训 Intent 的参与决策与文本预测,并用动作感知重平衡解决模型「过度等待」的偏差;再冻结 Intent,训练 Realization 的因果联合视听生成;最后通过分布匹配蒸馏把生成过程压缩为四步流式生成器,并用双 Rollout 机制弥合「训练用录制媒体、推理用自身生成」的分布差异。
需要如实标注的是评测口径:93.3% 的通过率来自团队自评——30 组实时全双工交互、六个维度共 180 项检查,语言遵循性、语音可懂度、视觉身份稳定性均为满分,音视频情绪一致性 96.7%,而最具挑战的内容响应度为 73.3%,官方也承认这是下一版本的重点。当前预览版支持基础音视频对话,演示中「递水给虚拟人、对方伸手接住」这类实时视觉交互能力规划在 v2 版本提供;推理配置需要约 8 张 GPU,代码以 Apache 2.0 开源,权重许可条款以官方仓库披露为准。
从产业视角看,Duo v1 的意义不在立刻做成产品,而在验证一条路线:当「该不该说话、何时插话」成为模型内生能力,而非 ASR、LLM、TTS 外部拼接的编排逻辑,实时交互数字人、虚拟陪伴、具身智能的交互架构都可能被重写。同一赛道上,生数科技 Vidu、Odyssey 与 DeepMind 的 Genie 系列都在从不同角度逼近「可交互的世界」。蚂蚁把论文、代码与权重全部开放,接下来值得看的是社区能否在这个底座上,把 73.3% 的内容响应度与八卡门槛这两块硬骨头啃下来。