OpenAI DevDay 内部：超人级电脑操作、Decisions API 与 AI 云——Ari & Nikunj

摘要

• OpenAI 认为，电脑操作已经从脆弱的演示走向真正能干活的生产力，回应某头部 AI 播客关于其两年来没有进展的说法。 Ari Weinstein 表示，agents 现在“在大多数情况下，完成任务的速度可能已经超过普通人”，部分原因在于它们能够调试、重试和自我检查，而不只是成功启动任务。
• 经济层面的突破速度，快于模型标价所呈现的速度。 GPT-6.1 Soul 的整体成本据介绍为 Astra 的1/5，电脑操作场景为1/7。主持人还援引主题演讲中的说法称，电脑操作速度提升了7×。这会把投资主线的瓶颈从原始智能推向推理、执行框架设计和软件响应时间。
• Dots 通过为每个 Dot 配置独立的 Linux 云端电脑，把电脑操作变成通用委托。 可触达的范围实际上是所有面向人的软件，包括 API 不完善的服务：Ari 的餐食订单从手动处理的2小时缩短至15分钟，主持人还提到订机票、客服、YouTube 运营、游戏和购物。
• OpenAI 的 Decisions API 回应了 Jev，也展示了一个新的 AI 产品类别如何被前沿实验室迅速吸收。 Nikunj Handa 表示，4周前这件事“完全不在计划内”；用户需求和内部团队推动推理及基础设施工程师做出原型，项目随后进入延迟优化阶段。首个版本使用 Luna 的现有权重，而非新训练的模型。
• 电脑操作越来越是多模态系统问题，而不是单纯的截图点击基准测试。 Agents 可以组合截图、无障碍数据、Playwright、直接 DOM 访问和生成式 JavaScript，一次执行多个动作；AppShot 同样会暴露底层元数据，而不只是像素。“大量细小的摩擦”如今与单点模型能力提升同样重要。
• Agents API 形成了分发优势，因为 OpenAI 在开发者也能使用的同一套电脑操作执行框架上训练模型。 Ari 认为，这可能同时改善“速度、成本和准确率”；而自主测试则闭合了软件开发循环：agent 可以先完成应用构建和测试，再交给人类做 QA。
• 平台路线图正围绕异步执行、缓存和上下文管理，收敛到一朵 AI 原生云。 WebSockets 支持回合中途调度和异步工具调用；缓存可获得30分钟内命中的保证，12小时保证仍在预览阶段、尚未公开。预热和更低成本的读取也在开发中。尚未解决的问题是，OpenAI 应该把多少记忆、存储和 agent 结构抽象成平台能力，又应保留多少灵活性给开发者。

精读

1. 电脑操作已发生180度变化，而非原地踏步

• 主持人援引某头部 AI 播客的说法，称电脑操作两年来没有进展；Ari 直接反驳，认为现在已经“180度不同”（“180 degrees different”）。真正有意义的比较，与其说是上周发布的版本，不如说是过去1-2个月累积起来的跃升。

• 1年前，模型还能“可靠地启动任务”，但一遇到意外就会偏离轨道。Ari 认为，决定性能力提升在于调试：当前模型会重试、检查失败原因并调整路径，因此能够完成更长的工作流，而不只是做出一个看似合理的第一步。

• 主题演讲展示的技术栈包括 Dots、GPT-6.1 Soul、Agents API 内置的电脑操作、AppShot、原生 Mac 控制，以及 Decisions API。GPT-6.1 Soul 被描述为整体成本只有 Astra 的1/5，电脑操作负载成本只有1/7。

2. 执行框架开始理解结构，并批量生成操作

• Ari 的判断是，现代电脑操作不再依赖单一界面。根据任务不同，模型可以组合截图、无障碍表示、Playwright 和直接 DOM 访问，再生成一次执行多个操作的 JavaScript，而不是逐个点击。

• 真正的突破在于消除了反复截图、滚动的循环。当 agent 能以结构化方式检查整个页面或应用时，就能定位视口之外的内容，并一次操作多个元素；Ari 认为，新增模态是这个领域最大的“顿悟时刻”之一。

• AppShot 说明了这种差异。双击 Command 键，看起来像是在附加一张截图，但它同时提供了节省 token 的无障碍元数据：像素无法揭示的链接目标、因截断而隐藏的完整日历标题，以及附件背后的原始文本表示。

• Ari 不认为进步来自某个神奇改动：生产产品使用的安全配置各不相同，改进则来自模型、推理、表示方式和执行框架工程。速度曲线越来越多地由深度检查中发现的“大量细小的摩擦”（“a lot of little paper cuts”）推动。

3. Dots 让所有面向人的软件都变得可操作

• 每个 Dot 都在云端拥有自己的 Linux 虚拟电脑，既能运行桌面应用，也能运行浏览器。Ari 的核心判断是普适性：既然“全世界的软件都是为人设计的”，能够操作人类界面的 agent 就几乎可以接收任何依赖电脑完成的任务。

• 他最鲜明的个人案例是一项可定制的备餐服务。精确指定鸡肉和米饭的克数，手动操作要花2小时；电脑操作在 GPT-6.1 Soul 上用15分钟完成了同一笔订单——速度“快了8倍”。

• 主持人将这一逻辑延伸到 API 覆盖不足的场景。YouTube 的 A/B 测试、社区帖子等工作仍然需要操作界面；主持人还提到客服工作流可以等待回复、调用子 agent 做研究、提供参考编号，并持续谈判，而不占用用户注意力。

• 这降低了 Ari 所说的委托“启动能量”（activation energy）：当 agents 足够快时，用户可能会默认把目前仍由自己手动完成的工作交出去。最终什么最有价值，仍将高度取决于具体用户，而不会出现一个适用于所有人的杀手级工作流。

4. 超人级速度部分取决于被操作的软件

• Ari 表示，电脑操作如今“在大多数情况下，完成任务的速度可能已经超过普通人”。下一阶段的目标更具体：达到或超过熟练电脑用户的速度，从而真正支持实时产品，而不只是异步完成任务。

• 随着推理加速，外部应用开始成为瓶颈。DoorDash 基准测试中，相当一部分时间可能耗在等待 DoorDash 自身加载；系统随后必须尽量压缩页面加载完成与模型采取下一步动作之间的延迟。

• 事件驱动触发器可以解决部分等待，例如浏览器导航事件，但并非每次状态变化都能暴露出清晰事件。客服回复可能在30秒至3分钟内抵达，正体现了看似简单的自动化背后仍然存在调度问题。

5. 信任与自主 QA 决定普适性是否能够复利

• 主持人描述了自己的信任边界如何快速移动：3-4年前，把 LLM 接入设备和互联网还让人觉得危险；如今他已经允许 Codex 配置 DNS、支付账单，并处理“数万美元”的活动，甚至在电脑操作模式下直接“YOLO”。

• Ari 的制衡方案是渐进式信任，而不是不受限制的自主权。可靠系统应在支付等重大操作前请求用户同意，并根据具体应用，只开放完成任务所需的网站和应用。

• 对开发者而言，OpenAI 的电脑操作执行框架不只是便利工具，因为模型就是在这套框架上训练的。Ari 表示，保持在训练分布内“可能带来速度、成本和准确率优势”，但开发者在需要专门控制时，仍然可以自行构建执行框架。

• 他最喜欢的编程工作流，是让 agent 测试自己构建的东西。电脑操作把实现、测试和检查串成完整生命周期，消除了“你现在就是这个 agent 的 QA”（“you are now QA for the agent”）这种局面；Ari 有时甚至会让一个电脑操作 agent 去测试另一个。

6. Jev 启发了一个品类，OpenAI 则用 Luna 做出回应

• Nikunj 明确将“启发市场上的一个完整细分品类”归功于 Jev。他表示，4周前 Decisions API 完全不在计划内；用户需求和内部团队推动推理及基础设施工程师做出原型，之后项目进入延迟优化阶段。

• 初版 Decisions API 并不是新训练的模型。它通过结构化输出约束现有 Luna 权重，把多个问题作为一个批次并行处理，并优化推理栈以缩短首 token 时间和 token 间隔；Luna 的视觉能力也“免费”随之提供。

• 它最清晰的用途是快速分类，包括客服工单分类。低延迟的 LLM-as-a-judge 评估，以及电脑操作或 GPT Live 演示也在讨论范围内，但 Nikunj 保留了这项限制：不具备推理能力、一次只选择1个动作的 Luna，无法匹敌 Astra 为复杂、长链路电脑操作编写 JavaScript 程序的能力。

• Vibhu 认为，校准后的置信度仍是一个尚未解决的差异化因素：RLHF 可能把模型推向用户想听的答案，却不一定保留正确的置信度水平。Nikunj 同意，校准能力可能是 OpenAI 需要在未来模型发布中持续“爬坡优化”的方向。

7. OpenAI 正在拼装 AI 原生云的基础能力

• GPT-6 的 API 新增异步函数调用和回合中途调度：模型可以启动一个耗时工具，继续推理，并在结果返回时接受新指令。WebSockets 提供双向通道，降低 agent 式执行和 Ultrafast 推理中的工具调用开销。

• Nikunj 首先将 Luna 价格下降约80%归因于推理侧工作，随后又将 Astra 推向“极高速下的前沿智能”。GPT Live 可以作为快速说话者和任务分派者，由 Astra 在后端提供能力；Decisions API 和 Luna 则让快速工具调用的演示显得更加流畅。

• Responses API 的性能优化如今不止于 token 生成。OpenAI 保证30分钟内命中缓存，正在为1个用户预览12小时缓存保证，并支持预热：开发者可以在流量到来前支付写入缓存的成本，再让多个线程实例复用同一提示词。

• 即使有缓存，上下文仍然需要压缩。Agents API 内置专有压缩能力；Responses API 提供基于阈值的服务器端压缩或手动执行 /compact；基于文件的技术已经落地，也在 Codex 执行框架中持续试验。Nikunj 尚未确定的是，未来的记忆库和存储概念应成为高层级原语，还是继续作为由开发者自行拼装的示例。