腾讯 WorkBuddy 在 11 月 20 日上线了电脑操控(Computer Use)能力。按官方说法,它可以识别当前页面、看懂客户端界面,并执行点击、输入、滚动等操作;关键在于不需要目标软件开放接口,也能在后台完成操作。
这意味着它的作用范围不再局限于浏览器里的网页。大量企业软件、行业客户端、内部系统并没有开放 API,过去是智能体自动化的死区,只能靠人工重复点击。WorkBuddy 选择用「看屏幕、动鼠标键盘」这条路绕过去。
使用方式是把任务写在对话框里,Buddy 根据任务意图调用电脑操作,用户可以在侧边小窗查看执行进度,任务结束后收到结果汇报。功能目前处于公测体验阶段,支持 macOS 与 Windows,需要把客户端更新到 5.11.0 及以上版本,并手动开启功能、完成相关授权。
官方给了一条明确的安全提示:涉及登录、授权、支付、提交、删除等敏感操作时,建议用户保持在场、实时监控。这条提示的分量不轻——一个能在后台点击「确认支付」的智能体,权限边界必须靠人来兜底。
另一个需要说清的限制是识别效果。官方说明,界面识别效果会因软件而异。这句话背后是技术现实:基于视觉与界面结构的操作,在标准控件上表现好,在自绘界面、游戏化 UI、频繁改版的客户端上会明显退化。所以「支持」和「稳定可用」之间还有距离。
把时间线拉长看,这不是孤立动作。此前一天,谷歌刚把 computer use 能力装进 macOS 版 Gemini,同样是让模型接管桌面操作。两条路线在同一天前后落地,说明「让智能体直接操作电脑」已经从实验室演示进入产品竞争阶段。
两条路线的差别在于生态位置。谷歌是在自己的操作系统与浏览器体系里做闭环,腾讯则是在一个跨平台客户端里做通用层——不依赖目标软件配合,代价是要自己解决界面理解的鲁棒性。前者天花板高但受生态限制,后者通用性强但要跟每一个界面的改版赛跑。
对 WorkBuddy 来说,电脑操控补的是一块明显的短板。它此前的能力集中在对话、写作、检索与部分工具调用,这些都在「模型能直接处理的信息」范围内;一旦任务需要落到具体软件里,比如在企业微信后台改一个配置、在某个本地客户端导出报表,链条就断了。电脑操控把这一段接上。
商业上的意义也随之变化。腾讯此前披露过 WorkBuddy 的进展:日活跃用户超过 1000 万,是中国大语言模型日均 Token 用量最高的 AI 产品之一,最近七天收入按年化折算超过 5 亿美元。这类数据的底座是高频个人使用;而能操作电脑之后,可承接的任务从「问与答」扩展到「替你把事做完」,客单价与使用深度的想象空间都会变。
风险同样要摆明。智能体操作真实系统,出错成本由用户的账户承担;权限授予一旦过宽,误操作的影响面会迅速放大。官方的「保持在场」建议,本质上是把责任暂时留在人这一侧。行业里更成熟的做法是分级授权:读操作自动执行,写操作二次确认,支付类操作强制人工。
接下来值得观察的有两点:一是界面识别在主流办公软件上的实际成功率,这决定了它能不能从尝鲜变成日常;二是腾讯会不会把这套能力开放给企业侧做定制,如果企业能把自己的内部系统接进来,电脑操控的价值会比面向个人用户大一个量级。