两台机器人一起抬桌子,最怕的不是力气不够,是看不见对方在干什么。一台刚抓住桌角,另一台已经准备抬起来;一方视线被挡住,连队友做到哪一步都不知道。人类靠一个眼神就能解决的问题,在机器人这里往往直接变成任务失败。
深圳具身智能公司星尘智能 11 月 13 日发布的 CoMind,就是冲着这个场景去的。这套多机协同框架的核心主张可以压成一句话:机器人不必把摄像头拍到的画面全发给队友,只需要说清楚「你现在需要知道什么」。
极限测试的数据很能说明问题。两台机器人隔着挡板、彼此完全看不见,通过共享关键信息配合拿笔,任务成功率从 0 直接提升到 100%。另一个盲盒置物任务里,被挡住视线的机器人需要靠队友「借眼」把东西放到正确位置,准确率从纯盲猜的 38.9% 提升到 88.9%。关键在于,整个过程的信息传输量减少了约 80%——传得更少,配合反而更好。
这个反直觉的结果,来自对「机器人之间该聊什么」的重新定义。传统多机协作有两条路。一条是中心化调度,由统一控制系统分配任务、规划动作,再给各台下指令。分工明确的任务这套很有效,但面对需要频繁微调的精细操作,集中处理多台机器人的感知与控制信息会带来沉重的计算与通信开销。另一条是分布式决策,机器人各自独立感知与动作,降低了对中心的依赖,但每台掌握的信息有限,一旦目标或队友被遮挡,就失去了决策依据。
即便允许互相通信,还有一个更基础的问题:说什么。机器人每秒产生的视觉数据量很大,但真正与队友下一步动作相关的通常只有很小一部分。组装哑铃时,负责穿片的机器人需要知道的是杆与孔位的相对位置,周围的家具、墙面、光线对它没有任何帮助。把完整视频传过去,既增加带宽,又逼着接收方从海量像素里重新找有用信息。
CoMind 的技术设计分两个阶段。第一阶段是任务相关上下文提取:通过上下文编码器从多路摄像头观测中筛选、压缩关键信息,保留对当前任务和后续动作有价值的视觉特征;模型还会学习预测未来的视觉变化,并结合任务进度判断操作处在哪个阶段。第二阶段是双向共享与协同动作生成:两台机器人都能独立提取、发送关键信息,也能接收队友传来的上下文;接收方把共享信息与自身观测、任务指令、本体状态一起输入视觉—语言—动作模型(VLA,即把看到的、听到的转成动作的模型),生成连续动作。双方都具备发送与决策能力,不再依赖同一个中心控制器生成全部指令。
真正的巧思在第三个设计:动作级反向传播。简单说,就是让队友的动作结果反过来决定自己该提供什么信息。以盲盒置物为例,机器人 A 看不见目标,需要 B 提供信息;如果 A 最终伸错了位置,训练过程中的动作预测误差就可以反向传递到 B 的信息编码器,促使 B 调整自己对关键特征的提取方式。反复训练之后,B 会倾向于提供真正有助于 A 完成动作的信息。
这一步把「通信」从描述环境变成了服务决策。数据也能对上:同一任务下不共享信息的准确率是 38.9%,换用另一种上下文传输方案后达到 72.2%,CoMind 进一步做到 88.9%,同时把通信量压掉约八成。
星尘智能为此展示了六项真机测试,覆盖隔墙拿笔、盲盒置物、纸箱组装、叠被收纳、冰箱补货与哑铃组装。这六项分别对应视觉遮挡、柔性物体操作、精密装配等不同难点。叠被子是最能体现难度的一项:被子柔软易形变,提起、翻折、搬动时形状、边缘与受力状态都在持续变化,两台机器人不仅要控制自己的动作,还得根据队友的操作实时调整,全程没有人类逐步下指令。
背景值得补一句。星尘智能成立于 2022 年底,创始人兼 CEO 来杰曾是腾讯 Robotics X 实验室架构师与早期核心成员,此前还负责过百度小度机器人的研发。公司走的是相对少见的绳驱技术路线,推出过 Astribot S1、T1 等产品,并围绕 AI 模型、具身操作系统与绳驱本体建了一套软硬件一体化体系;模型层面有 Lumo 系列具身基座模型,今年 7 月的 Lumo-2 已把多机器人协作纳入能力展示。
把 CoMind 放回研究脉络里,它的位置比较清楚。斯坦福团队 2026 年提出的 CHORUS 让不同机器人共用同一套 VLA 策略、靠观察队友行为形成默契,不要求运行时显式通信;2025 年的 LatentToM 让机器人学习共享潜在表征、交换紧凑表征;2026 年 10 月公开的 DuoMind 用视觉语言模型做高层任务推理与语义通信、由 VLA 负责底层动作。三者分别代表「靠共同策略形成默契」「靠潜在表征建立共识」「靠语义信息组织行动」,而 CoMind 关注的是更贴近动作层的问题:如何让共享的信息直接改善队友的动作决策。
现实意义在于,绝大多数真实工作本来就需要多个执行主体。搬大件、装设备、跑连续产线,都涉及不同位置、不同动作之间的协调,单台机器人再聪明也受限于自身视野、机械结构与操作范围。当协作从工程师手写的规则变成模型在训练中习得的能力,多机系统的上限才会真正被打开。