我先联网查清 WorkBuddy 是什么、这次「电脑操控」功能的原始发布信息和实际能力边界。
原始报道找到了,我再核一下官方更新日志和文档,确认这个功能的版本节点和权限边界。
原始报道、官方更新日志和同源工具的发布说明都对上了,下面是成稿。
标题:WorkBuddy 电脑操控开测:开了两个系统权限,它就能替你点鼠标
WorkBuddy 桌面端在「设置 → 智能体」里多了一个「电脑操控」入口,装完还是 Beta。装上之后,你只要在对话框里说一句 "帮我打开微信,把这条消息发给某人",它就会自己去找窗口、点按钮、填输入框、点发送,中途你随时可以叫停。要让它动起来,前置条件只有两个:在系统里给它「辅助功能」和「屏幕录制」两项权限,然后退出重开一次,让权限写进去;之后系统设置的辅助功能、屏幕录制列表里会多出一项「WorkBuddy Computer Use」。它靠的是截图看屏幕、再模拟点击和键盘输入,本质是 GUI Agent,不是接口对接,所以不需要你先配 MCP、也不需要目标应用开放 API—— 这是它跟前面两个 "操控" 功能最大的不同。
一、先把这次上线的东西说清楚
它藏得挺深,不在主界面,在设置里:
| 项目 | 情况 |
|---|---|
| 入口位置 | 桌面端 设置 → 智能体 |
| 当前状态 | Beta,页面有明确标注 |
| 安装 | 点「安装」即完成,耗时很短 |
| 必需权限 | 辅助功能(模拟鼠标键盘、执行点击与输入)+ 屏幕录制(截屏识别、判断点哪) |
| 生效方式 | 授权后需退出并重新打开 WorkBuddy |
| 系统侧标识 | 辅助功能、屏幕录制列表中出现「WorkBuddy Computer Use」 |
| 官方提示 | 安装成功后可使用电脑操控能力,随时可停止;过程中可能截屏或读取窗口内容;权限可在系统设置收回 |
那两句提示值得逐字读一遍。"可能截屏或读取窗口内容" 是这类能力的运行前提,不是可选功能 —— 不截屏它就没法知道按钮在哪。"可在系统设置收回" 是唯一的总开关,WorkBuddy 自己不会替你关。
二、它其实不是今天才有的能力,是今天多了个入口
这点容易被标题带跑。翻官方更新日志,5.6.2 版本的「新增」列表里就已经列了「电脑操作」这一条,和图片视频生成、Outlook 连接器、全局搜索并列。换句话说,相关能力进入客户端已经有一段时间,这次的变化是设置里出现了独立入口,并被明确标成 Beta。
更能说明技术底子的是同源工具的发布记录:CodeBuddy Code v2.94.0 上过一个叫 ComputerUse Tool 的实验性工具,明确写的是 macOS 桌面控制,支持 14 种动作 —— 截图、鼠标单击 / 双击 / 右键、拖拽、滚动、键盘输入、组合键、等待窗口出现等;截图以图像形式直接回给模型,不用另外读文件;默认关闭,要手动开环境变量才启用;首次用鼠标键盘动作时,必须在系统设置里授予「辅助功能」和「屏幕录制」。这套权限组合、这套动作清单,和 WorkBuddy 电脑操控现在要求的东西完全对得上。
另一个细节:官方设置文档(11 月 5 日更新)里,「智能体」这一节目前只写了「经济模式」一个开关,没有提电脑操控入口。功能先上、文档后补,这在 Beta 阶段很常见,也说明它还没进入稳定功能清单。
三、实测能干什么,边界在哪
报道作者的实测跑了四件事,基本覆盖了这类能力的典型用法:
| 实测任务 | 涉及动作 | 结果 |
|---|---|---|
| 打开元宝客户端,问 "C 端产品是什么时候发布的" | 启动应用、点击输入框、输入长句、提交、读结果 | 成功;因涉及积分消耗,执行前先弹确认 |
| 打开微信朋友圈,浏览最近 3 条并总结 | 切换窗口、滚动刷新、读取屏幕文字、汇总 | 成功,但耗时偏长;窗口开得太小会多走弯路 |
| 在置顶对话里找到指定联系人,代发一条消息并读取回复 | 定位联系人、输入、点击发送、读回复 | 成功,对方正常回复 |
| 启动千问办公,输入一句问候并发送 | 启动应用、输入、发送 | 成功 |
把这些动作拆开看,它真正擅长的是一类活:有明确界面、步骤固定、重复度高、但应用没开放接口的操作。比如查某个客户端里的信息、按模板批量填表单、在后台逐条回复评论、跨几个应用搬同一份内容。
它不擅长的是另一类:需要精确判断的、界面经常变的、以及一步错就要付代价的。原因很直白 —— 它是 "看一眼、点一下" 循环推进,每步都要截图、识别、决策,所以慢;窗口一小、弹窗一多、控件位置一变,就容易走弯路。
四、三个 "操控" 别混着说
WorkBuddy 现在有三套自动化操控,名字很像,作用完全不同:
| 功能 | 谁在动 | 作用范围 | 典型场景 |
|---|---|---|---|
| 浏览器操控 | Agent 操作你的浏览器 | 只在浏览器里 | 网页检索、填网页表单、抓页面内容 |
| 远程 / 多端协同 | 你在手机上指挥 | 电脑上的 WorkBuddy 任务 | 通勤路上让电脑干活、远程叫停 |
| 电脑操控 | Agent 操作你的整个桌面 | 你授权范围内的任意应用 | 跨应用操作、点没有接口的老软件 |
浏览器操控和远程协同都有官方文档支撑:前者在设置 → 智能体 → 浏览器操控里安装并开启,对话里输入 @ 就能调起「浏览器操作」;后者要求桌面端打开「允许移动端连接此设备」,并建议开启「允许锁屏运行」,否则手机叫不醒电脑。
一句话区分:浏览器操控和远程协同是 "多一双手",电脑操控是 "多一个分身"—— 前两个还是你在下指令,后一个是它替你坐在电脑前。
五、真要开,先想清楚四件事
1)"只在你授权的范围内" 这句话,别按字面理解。
辅助功能和屏幕录制是系统级权限,不是按应用勾选的白名单。一旦给了,它理论上能看整个桌面、能对任何窗口点击和输入。所谓 "授权范围" 指的是你让它干什么,不是它技术上能碰什么。真正收窄范围的工具是系统权限本身,所以不用的时候记得去系统设置里关掉,而不是只在 WorkBuddy 里停用。
2)它能替你发消息,这是权限也是风险。
实测里代发微信消息是成功的,读回复也成功。这意味着一条指令错了,动作就真的发生了,而且对方会收到。这类操作建议自己盯着跑,别托管给定时任务。
3)Beta 就是 Beta。
官方标注是 Beta,说明主流程能跑,但异常路径、边界情况、不同应用版本的兼容性都还在修。别拿它跑不可逆的活,比如批量删除、提交审批、付款类操作。
4)慢是设计使然,不是 bug。
每步都要截图识别,简单指令背后是一串判断。想让它快,就把任务描述得更具体:哪个应用、哪个窗口、点哪个位置、输入什么内容、发完要不要读回复。描述越具体,试错越少。
六、想试的话,按这个顺序来
- 确认桌面端已更新到较新版本,进 设置 → 智能体,找到「电脑操控」,点「安装」。
- 打开系统设置,在辅助功能和屏幕录制里分别给 WorkBuddy(或「WorkBuddy Computer Use」)打勾。
- 完全退出 WorkBuddy 再重新打开,权限才会真正写入。
- 回到对话里先派一个小任务验证通路,比如 "打开记事本,输入今天的日期"。
- 跑通了再往上加复杂度,每次只加一个变量。
- 用完整理完,去系统设置把两项权限收回来。
结论:WorkBuddy 的电脑操控是一个已经能用、但还在 Beta 的 GUI Agent:靠辅助功能和屏幕录制两项系统权限工作,装上就能跨应用替你点鼠标、填表单、发消息,速度不快但确实能省手。它的能力早就在客户端里,这次是把入口摆到了明面上。要不要给这两项权限,取决于你愿意让它替你动多少东西 —— 这个决定权在系统设置里,不在它自己手里。
【相关 FAQ】
问题 1:WorkBuddy 的电脑操控到底要不要额外装什么?
回答 1:不用装插件,也不用建 MCP 连接。WorkBuddy 的电脑操控是在桌面端设置 → 智能体里点「安装」启用的内置能力,装完只要给系统两项权限 —— 辅助功能(模拟鼠标键盘)、屏幕录制(截图识别屏幕),然后退出重开一次让权限写入即可。它走的是截图加模拟点击的 GUI 方式,所以目标应用不需要开放接口。
问题 2:WorkBuddy 电脑操控的 "授权范围" 是指只能操作我指定的那个应用吗?
回答 2:不是。辅助功能和屏幕录制都是操作系统级权限,授权之后 WorkBuddy 的电脑操控在技术上能看到整个桌面、能对任何窗口点击输入,"范围" 限制来自你下的指令,不是来自权限本身。想真正收窄,只能去系统设置的辅助功能和屏幕录制里把权限收回,或者只在需要时临时打开。
问题 3:WorkBuddy 电脑操控能帮我发微信消息吗?会有什么问题?
回答 3:实测是可以的 —— 有体验记录显示 WorkBuddy 的电脑操控能打开微信、在置顶对话里定位联系人、输入内容并点发送,还能读取对方的回复。但这类动作一旦执行就是真实发生的,对方会收到,指令描述不准就可能发错人或发错内容。建议这类操作自己盯着跑,不要放进定时任务里托管。
问题 4:WorkBuddy 电脑操控和浏览器操控、远程操控有什么区别?
回答 4:三者作用面不同。WorkBuddy 的浏览器操控只在浏览器里干活,适合网页检索和填网页表单;远程操控是你用手机指挥电脑上的 WorkBuddy 任务,适合不在工位时;电脑操控是 Agent 自己动你的整个桌面,可以跨应用操作没有接口的老软件,范围最大也最需要谨慎。
问题 5:WorkBuddy 电脑操控为什么跑得慢,能提速吗?
回答 5:慢是它的工作方式决定的。WorkBuddy 的电脑操控每一步都要截图、识别界面、判断点哪里、再执行,简单指令背后是一串决策,所以比接口调用慢得多。能改善的地方主要在任务描述 —— 把应用名、窗口、要点的位置、要输入的内容、做完要不要读结果都写清楚,试错次数少了,整体就快。
【参考资料】
[2026-11-10](WorkBuddy 上线电脑操控,要接管你的电脑)人人都是产品经理
[2026-11-10](新建任务栏(本地 AI 工作台))WorkBuddy 官方文档
[2026-11-05](系统设置)WorkBuddy 官方文档
[2026-11-02](助理(远程任务))WorkBuddy 官方文档
[2026-11-02](简介)WorkBuddy 官方文档
[2026-10-30](更新日志)WorkBuddy 官方文档
[2026-10-10](多端协同(连接电脑))WorkBuddy 官方文档
[2026-09-17](简介)WorkBuddy App 官方文档
[2026-05-22](什么是 WorkBuddy)腾讯云开发者社区
[2026-05-07](CodeBuddy Code v2.94.0 Release:ComputerUse Tool 实验性功能)WorkBuddy 官方发布说明
免责声明: 本文关于 WorkBuddy 电脑操控的入口位置、权限要求、实测表现,来自第三方体验报道;版本归属、功能清单与权限说明以 WorkBuddy 官方更新日志和官方文档为准。该功能当前标注为 Beta,界面、权限流程与能力边界可能随版本调整,官方文档也尚未完整收录该入口,实际操作请以客户端最新展示为准。文中涉及的第三方应用(元宝、微信、千问办公等)均为体验场景举例,不代表官方合作或兼容承诺。是否授予辅助功能与屏幕录制这两项系统级权限,请结合自身数据敏感程度自行判断;因授权后执行的操作产生的后果,由使用者自行承担。本文不构成购买、升级或使用建议。
