OpenAI为何正竞相让计算机操作能力超越人类

摘要

• Ari Weinstein 的速度论点是，达到专家级的电脑操作能力，可能让委派成为默认选项。 他认为，智能体操作电脑已经快过普通人，而且“离超过专家水平已经很近了”。要让人愿意委派，关键是消除“这事我自己做就行”的念头，尤其当任务必须先完成、其他工作才能继续时。
• 电脑操作让智能体无需等待新的集成，就能使用旧软件。 Weinstein 的说法是，“电脑操作适用于一切”：智能体通过与人相同的界面使用应用程序。他预计，几十年前的系统会与成本更低的新软件并存，为用更好的体验封装旧工作流的产品创造空间。
• 企业采用智能体，既要模型更强，也要有可执行的边界。 James Sun 提到应用和网站限制、可配置的审批要求，以及一套他称为 Guardian 的系统——他认为应用里叫“自动批准”——用来核验操作是否安全、是否符合用户意图。智能体快到无法一直盯着时，“控制这部分就会越来越重要”。
• 眼下最清晰的工作流，是把繁琐任务串联到多个业务记录系统中。 Sun 举例说，采购流程要把电子表格里的1,000行数据导入采购软件，再联系供应商；缺少 API 的财务对账也是一个切入口。Seema Amble 一句话点出了机会：“无聊之处就是机会。”
• 垂直领域知识和落地能力，仍是初创公司的机会，即使大模型公司的能力覆盖面更广。 Sun 认为，监管、获客和客户服务方面的行业理解依然重要，而 OpenAI 自己的团队也仍然人手紧张。他所说的“速度和痛点”护城河，体现在一套餐饮工作流中：串联库存照片、需求预测、采购和员工排班。
• 智能体会冲击网页变现模式，但界面仍有价值。 Sun 认为，智能体带来的广告展示通常无法创造收入；WebMCP 则能让人继续浏览网页、由智能体处理繁琐事务。他明确表示：“我不认为 UI 会消失。”Fabrizio Serafini 补充说，企业用户仍需要了解付款原因、查看审计记录并掌握控制权。
• 云端分发有望扩大采用，但产品体验仍未打通。 Sun 称，浏览器能力被整合进已有智能体使用场景的产品后，周环比增长达到“YC 级别”，但未给出具体数字。让10亿用户用上产品的目标，与为手机用户提供云端电脑有关；浏览器、凭据和上下文割裂仍是障碍，而 Weinstein 希望智能体“适应你，而不是让你去适应它”。

精读

1. 超人级速度将让委派成为默认选择

• Weinstein 表示，智能体操作电脑已经快过普通人，而且“离超人水平已经很近了”——也就是快过专家级电脑用户。后台任务可以慢慢跑，但需要人盯着的任务，或必须先完成、其他事情才能继续的任务，都得跨过“这事我自己做就行”的心理门槛。一旦智能体速度更快，他预计委派会成为默认选择，除非有人就是想亲自完成任务。

• Weinstein 说 Sol 的电脑操作能力已经很强。Astra 平均“稍微快一点”，因为完成同一任务所需的思考 token 更少，边缘场景下也显得更可靠。他用99%和97%的可靠性作对比，说明微小提升为何重要；他也明确说，这只是基于个人体验的判断。

• Weinstein 提到的 Microsoft Paint 发布演示，展示了创作能力的提升。Sun 补充说，Astra 在内部游戏对战中“每次”都能赢过5.6；他还提到，有推文称 Astra 大约花了30小时左右打通 Fallout。他对这类表现如何转化为实际工作能力的解释仍比较松散：“我知道这大概能转化成点什么。”

• Weinstein 称 OpenAI 的产品是“速度最快、成本最低、可靠性最高”的电脑操作产品，但没有提供对比数据。他预计，成本更低的模型不断进步后，人们会更常按任务选择不同模型。Sun 有时仍会自己处理只需点两下的任务，因为这样更省事；速度进一步提升，或许连这条界线也会消失。

2. 企业要的不只是模型能力，还要有控制措施

• Amble 提出的疑问是责任归属：雇主可以追究受过培训的员工的责任，即使员工做得不如智能体。Sun 总体认为 Astra 能在电脑上完成“人能做的任何事”，但涉及敏感操作或应当带有个人色彩的信息时，仍需要人介入。可重复的工作适合按产品规格书设定要求；输入不够明确时，智能体会追问缺失信息，但即使用户没有回复，也可能继续收集上下文。

• Sun 称 Astra 是“我们对齐程度最高的模型”，理由是它更能抵御提示注入，也更少做出非预期操作。这对采购、供应商往来和客户沟通尤其重要。但让企业放心，不仅要说明这些能力，还要向管理员展示内部与第三方评测，并提供明确选项，排除敏感应用或数据源。

• 确定性的控制层是一套可配置沙盒：管理员可以允许特定应用和网站，同时屏蔽其他应用和网站。审批设置则可以要求用户在下载、上传或访问新网站时介入。Sun 把这些设置称为企业可以调节的“旋钮”，让不同工作流拥有不同程度的自主权。

• Sun 介绍了一套叫 Guardian 的系统——他认为应用里称作“自动批准”——它会用模型逐项评估操作是否安全、是否符合最初的用户意图。消费者可能希望尽量少被打断，企业则可以自行决定哪些操作能继续。Weinstein 补充说，根据不同模式显示光标移动，并要求用户批准访问新应用或网站，也有助于建立信任，让用户逐步放心委派更多工作。

3. 通用访问打通彼此割裂的业务系统

• Weinstein 强调的是通用性：“电脑操作适用于一切”，不必等开发者创建连接器或 MCP server。Sun 将其称为一种“通用 API”，并表示它正越来越多地出现在复杂任务中。他希望建立一层“共享智能”，让应用能利用其他地方积累的上下文，避免每个网站都有自己的智能体、却无法与你的智能体沟通。

• 对于“无聊之处就是机会”这类场景，Sun 最典型的例子是采购。团队把1,000行实验室设备需求填进电子表格；运营人员再把这些需求录入内部采购软件；采购部门随后根据系统输出联系供应商。他认为，电脑操作可以自动跑完整条链路，贯穿电子表格、内部系统和外部沟通。

• Sun 还提到月末对账：费用账簿和其他台账所用的软件没有 API，智能体可以核对记录、标记异常或值得注意的内容，再进一步调查。他提出的第二类机会更偏向创造工作，包括电路设计、建筑设计、硬件工程和游戏设计；更强的视觉能力为这些任务提供了支持。他认为，随着企业逐步理解模型能力，相关使用量可能在自动化繁琐工作的初期机会之外继续扩大。

4. 任务形态多变时，主动性尤其有用

• Sun 以 Dots 为例，谈到通知疲劳：他过去用 Codex 自动化每小时或每30分钟检查一次 Slack，但通知相关性不稳定，让他后来干脆忽略。Dot 则可以遵循需要判断的目标，例如标记直属汇报链发来的消息，或关键产品反馈——这类任务“每次的形态都不一样”。每个 Dot 都有自己的云端电脑，可以根据找到的信息采取行动。

• 遇到相关的 bug 报告时，Sun 描述了智能体如何通过浏览器进入 Sentry、提取日志、分析问题并返回反馈。这取代了他原先手动判断哪条报告重要、打开 Sentry、下载日志，再把日志交给 Codex 的流程。他说 Dots 可以操控本地电脑和云端电脑，因此能支持这类主动、长时间运行的工作流。

• Weinstein 举出的消费级场景包括填写 DMV 表格、退订邮件，以及人们过去没时间做的事。他自己的例子包括用 Apple Numbers 制作个人财务和膳食计划电子表格；他称这是一款“冷门电子表格软件”，但模型仍然能用得很好。他还提到，有私人教练会为客户制作定制材料。这些事在个人生活中可能耗时太久，有了电脑操作能力后就容易多了。

5. 老旧系统与精心打造的界面可以并存

• Sun 问，智能体究竟会让笨重的既有软件继续占据市场，还是让 AI 原生供应商有机会崛起。Weinstein 认为两者都会发生：开发软件的成本和复杂度已经大幅下降，但用10年、20年、30年甚至40年前的技术写成的生产系统，不会一夜之间消失。电脑操作“可能会加大对软件供应商的压力”，促使他们更好地支持智能体，因为智能体已经能通过现有界面操作这些软件。

• 谈到开放网络，Sun 指出商业模式存在冲突：他认为，智能体产生的广告展示通常不计入收入。对于愿意配合的网站，OpenAI 在应用内浏览器中支持 WebMCP。他设想，人们继续享受浏览酒店或购物网站的过程，智能体则处理繁琐事务；用户可以自行完成交易、输入信用卡信息，再把后续工作交还智能体。WebMCP 让用户和智能体可以共同使用网站界面。

• Sun 用自己为妻子制作的一款战术训练工具来说明界面设计的价值：这款工具用于一种连5颗棋子的游戏，他认为游戏名可能是 Omok。他按妻子的偏好定制了学习体验；智能体可以在对局后总结失误，但游戏仍由她来玩。“我不认为 UI 会消失。”Weinstein 进一步提出，软件也可以专为“100个人，甚至1个人”设计。

• Serafini 提出的企业场景，是一套用于设定目标和检查逻辑的界面。用户应该能看懂一笔付款为何发生，也能指定付款时间，或要求30天后打折，而不必亲自跑完整条工作流。Weinstein 反问：“我们凭什么只能用这么糟糕的软件？”他设想的是由智能体驱动、为特定需求打造的界面，有时智能体在底层操作旧应用，最终交付更好的体验。

6. 行业知识与落地能力仍是创业机会

• 尽管 OpenAI 规模庞大，Sun 仍看好初创公司：即使公司有数千名员工，团队依然感到人手紧张。熟悉行业监管、获客路径和客户服务的创始人仍有机会。他的说法是，“速度和痛点就是护城河”（speed and pain are kind of the moat）；AI 在许多垂直行业的普及速度较慢，意味着还有大量工作可做。

• 他举的餐饮案例串联了多个系统：通过后厨储物区的照片，结合次日客流预测，估算哪些物资会短缺；再由电脑操作通过 Shopee 或其他采购应用下单。工作流还会根据历史客流调整 ERP 中的员工排班，例如考虑节假日期间的客流变化。Sun 认为，这些客户需要有人帮他们理解工具、打通系统、完成部署并提供服务。

• Weinstein 给创始人的实操建议是，先判断产品究竟是辅助用户在桌面电脑上工作，还是通过 API 在云端机器上操作软件；人工介入方式应由这个选择决定。创始人还必须决定何时汇报成功或失败、如何总结活动：如果只是不断推送“发生了这件事”，用户最终会把通知当成噪声。

7. 云端分发需要更连贯的产品体验

• Weinstein 描述了过去6到9个月的变化：年初能力先有提升，最近几个月产品使用量快速增长，不过 OpenAI 的用户中只有一部分在使用电脑操作。Sun 坦言，他1月加入 Atlas 后得到的教训是：“Atlas，安息吧。”它的智能体功能并没有成为主要吸引力，因为很多人把它当作普通浏览器使用。

• Sun 表示，把浏览器能力整合进已有智能体使用场景的产品后，周环比增长达到“YC 级别”，但没有给出具体数字。他认为，下一次拐点来自云端访问：让 ChatGPT 用户——包括日常用手机处理生活事务的人——拥有一台无需了解操作方式也能使用的强大电脑，是他实现10亿用户目标的路径。

• 对于下个季度，Sun 最看重的是体验连贯性。Chrome 扩展可以使用 Chrome 的密码管理器和其他功能；桌面应用内置浏览器则有另一套 cookie 和密码，云端电脑又各有不同。消费者会碰到好几个彼此无法按预期沟通的浏览器。电脑操作的概念很简单——“就是 AI 在用你的电脑”——但这些实现细节让产品更难理解。

• Weinstein 希望在目前擅长后台工作的产品中，加入实时、多模态协作。他也指出一个行为习惯上的障碍：用户得记得委派任务，还得改变既有习惯。Dots 的主动性提供了一条路径，让智能体自行发现值得做的工作。他希望智能体能“适应你，而不是让你去适应它”（adapt to you instead of you adapting to it），同时由人继续设定目标并把握方向。