摘要

Meta–Scale AI 交易凸显了数据与算力、研究人才并列为3大关键战略投入。 Manu Sharma 表示，每家前沿实验室“每年可能在数据上花费超过10亿美元”，对专业化数据集的需求“永不餍足”。Labelbox 运营着一座垂直整合的数据工厂，能够快速交付由专家构建的强化学习资产。
后训练正从模仿人类推理轨迹，转向让模型在专家设计的“健身房”里反复练习。 人类越来越多地负责设计代表性问题、解法、评分标准、验证器和自动评分器；模型通过反复尝试和获得奖励来学习，而不是复制某个人口述的思考过程。Sharma 的核心表述是：“对问题、解法，以及如何给解法评分进行建模。”
编程和数学进展最快，因为它们的奖励往往可以机械验证。 编程代理可以对一个拉取请求尝试数百万次，并根据新旧测试进行评分；许多数学答案也能通过数值方式检查。Sharma 将过去9个月的大部分推理和编程进步归因于这一机制。下一个商业前沿，是把强化学习迁移到允许多个答案成立、必须由专家定义“什么是好、卓越乃至优秀”的领域。
从远处看，前沿模型似乎趋于收敛；但专家把它们推向极限后，差异会实质性暴露。 Sharma 在算法和数学密集型编程中倾向于使用 Gemini，在重构或分布式系统架构中则选择 Claude，因为后者会收集上下文并提出更多问题；他能感受到自己“已经触及这个模型的上限”。实验室可能都以通用系统为目标，但当前产品正围绕不同用户、工作流和质量目标进行优化。
企业微调正收缩到成本优化和真正专有的判断力，情境工程则成为默认的实现层。 Sharma 认为，大模型输出可以蒸馏到更便宜的小模型；如果没有任何基础模型能够体现公司的目标判断，才有必要改动权重。除此之外，检索、提示词、工具和特定任务上下文通常更有效。微调可能意味着“冻结一项投资”，而基础模型每隔几周就在进步。
新的专家数据经济，与低薪、5分钟一单的标注工作几乎没有相似之处。 Labelbox 表示，其顶尖贡献者年收入“远高于25万美元”；其网络覆盖70多个国家，公司每天进行远超2,000场 AI 面试。一些日益复杂的任务包括构建强化学习环境、求解器、验证器和代表性轨迹；合成生成正在加速这一过程，但不会取代人类判断。
AI 能力快速起飞与人类监督长期存在可以同时成立，因为能力扩展速度快于模型获得品味的速度。 Sharma 认为，“我们已经处于加速起飞阶段”；如今约有3,000万名开发者，未来可能有数十亿名编码者使用 AI 助手，但仍有“无限切片”的人类知识等待编码。尚未解决的瓶颈是质量：人类往往无法解释为什么某件事很优秀，但“我们一看就知道”。

精读

1. Meta 入股 Scale AI，暴露数据已成前沿基础设施

Labenz 以行业震动开场：Meta 最近宣布与 Scale AI 达成交易，Alex Wang 转而负责其超级智能项目，Scale 高管和员工离开，相关团队也在重新调整供应链。Sharma 表示，并购可以迅速改变工作负载，并预计行业还会出现更多变化。
Sharma 的战略堆栈有3个组成部分：算力，体现在惊人的资本开支上；研究人员，他们理解架构、训练配方以及应该训练什么；以及数据，他认为数据同样重要。他用“我们每天或每周看到的创新，达到了前所未有的最大值”描述当前时刻，而这场 AGI 竞赛既有大型实验室参与，也有押注替代技术的小团队。
Sharma 表示，Labelbox 一直在幕后为多数 AI 实验室提供数据集。他预计，新团队和新方法会继续改变专业化数据集的创建与交付方式。

2. 后训练成为把知识变成产品的关键层

Sharma 梳理了3个阶段。Labelbox 于2018年成立时正值监督学习时期，人们为模型标注图像、视频和文本，让模型进行模仿；transformer 将学习推向海量无监督数据；随后 SFT 和 RLHF 提供了专业化行为，让强大的基础模型真正服务知识工作者。
预训练仍需数月——Sharma 以6个月作为发布周期约束的示例——实验室也在持续生产巨型基础模型。这些模型可以充当更小“学生模型”的“教师模型”，后者才是真正出货的产品；但越来越多预算正在转向后训练，因为原始知识本身并不能产生可靠的助手或代理。
Labenz 提到 Claude 4 的案例：一次被遗漏的有害系统提示词数据集导致了错误行为，而 Anthropic 后来显然选择修补问题，而不是重新进行后训练。Sharma 没有给出后训练占算力的具体比例，但表示，头部实验室和超大规模云厂商都在研究端到端的完整训练配方，后训练预算正在增长。
核心能力缺口在于长周期工作。基础模型可能理解软件，但要在极少监督下构建完整的产品套件，就必须有意识地教会模型如何可靠地完成这类任务；Sharma 说，这些能力开始出现了，但“还没有真正具备”。

3. 可验证奖励解释了编程和数学的跃升

编程和数学是强化学习最明显的突破口，因为成功往往可以被评分。对于一个拉取请求，系统可以检查目标是否达成，以及现有测试和新增测试是否全部通过；对于许多数学问题，数值结果则提供了明确无歧义的奖励。
在训练过程中，模型可能对一项任务进行“数百万次尝试”。成功的尝试获得高分，权重发生变化，系统继续前进；Sharma 将这一自动化练习循环与过去约9个月推理和编程能力的显著提升联系起来。
编程具有双重价值：它是高收入知识工作，而且一些实验室相信，更强的编程系统会加速自身 AI 研究。这可能在商业上有用的代理与更快的模型开发之间形成反馈回路，即使系统还无法自主完成大规模专业软件工程。

4. 模型表面趋同，掩盖了专家级分工

Sharma 认可 Labenz 的表面观察：领先系统越来越拥有相似的聊天界面和通用能力。但他的限定是，“要真正批评一项能力，你必须达到专家级水平”；只有能判断困难工作的细微差别，实质性分化才会显现。
在自己的编程工作中，遇到需要数学能力的算法问题，Sharma 可能更偏好 Gemini。面对重构或分布式系统架构，他可能选择 Claude，因为 Claude 会读取多个文件、收集缺失上下文、在内部提出问题，最终做出更好的架构决策。
实际检验在于，专家是否能感知到模型的轨迹停滞：“我已经触及这个模型的上限。”这种判断揭示了普通使用可能掩盖的差异。
Labenz 补充说，产品策略也在强化分化。他认为 Anthropic 正在有意优先发展编程，而其他实验室可能针对消费者任务或通用社交助手进行优化；编程、研究和日常使用中最好的系统，未来能否重新组合为“单一世界模型”，仍未有答案。

5. 人类数据同时锚定能力与目标行为

Labenz 将 DeepSeek-R1 式强化学习与基于人类的训练进行对比：无需人类轨迹，也可能涌现出可验证的推理，但可能伴随语言切换等奇怪行为。他还对比了 GPT-4.5 强大的常识知识与 o3-mini 更强的推理能力，说明世界知识、推理和行为可以彼此分离。
Sharma 认为，人类智能经常被低估。模型在特定切片上已经超越人类，却仍无法可靠完成许多普通任务；因此，训练仍是在尝试模拟人类已经构建出的庞大经济、制度和工作流中的一个个片段。
他举出的 Wi-Fi 客服案例体现了这一差距。一个有用的代理必须自然对话、识别客户问题、转接专业支持、操作公司软件和数据库，必要时安排更换设备，并处理数千万用户的边缘案例，而不只是正确回答一个问题。
合成方法可以启动并加速这些数据集，但“你无法真正通过算法式合成方法凭空发明这些资产”。个性、服务标准、可接受的取舍和期望的客户体验，都是由组织选择的设计参数，因此需要人类进行质量判断。

6. 推理轨迹让位于问题、评分标准和“健身房”

Sharma 表示，研究人员曾投入大量精力，请学者和其他专家逐步讲述自己的推理过程。但结果很难忠实收集：尽管此前已有用过程奖励模型监督中间步骤的工作，人们往往并不擅长表达自己实际是如何思考的。
他对新重心的描述是：“对问题、解法，以及如何给解法评分进行建模。”推理随后成为强化学习的涌现属性，但 Sharma 保留了一个限定：轨迹可能仍需要生成或审计。
Labenz 对这一表述进行了验证：提供一个解法和评分标准，让模型尝试任务，再由另一个模型依据这些标准分配奖励。Sharma 表示同意，但补充了不可验证的关键情况——专家往往不知道唯一正确答案，却能识别“什么是好、卓越乃至优秀”。
强化学习环境最好被想象成“一座健身房”：模型反复练习，直到掌握一项技能。游戏可能训练通用规划能力，编程环境则可以针对具体领域；困难在于构建有代表性的任务，以及评分与专家判断严格一致、足够可靠的自动评分器。

7. 长上下文必须作为工作能力，而非搜索能力来测试

程序化的“大海捞针”测试可以证明模型是否能从大量噪声中检索出一个哈希值或事实。Sharma 认为，这是一种有用但基础层面的测量，并不能证明模型理解了真正超长的专业上下文。
他给出的更强样本，是金融分析师综合 SEC 文件、公司披露和业绩电话会议音频。任务不是从10份文件中找出一个数字，而是建立公司模型并预测盈利潜力；这是真实工作流，熟练的人类可能需要数天完成。
Labelbox 将这类能力称为“多跳”能力：跨越大量信息和多种模态进行推理。Sharma 表示，Gemini 在视频中定位特定时刻方面尤其出色，但前沿模型仍可能在代表性行业任务上被诱导失败；这些失败案例因此成为极有价值的爬坡数据。

8. 企业 AI 先靠迭代式评测，再扩大训练规模

Labenz 回忆起2022年微调 text-davinci-002 系列的过程：先创建10个示例，进行训练，让模型尝试接下来的100个样本，拒绝或纠正失败案例，把困难样本反馈回去，再重复“2轮到 N 轮”，直到表现达到可接受水平。
Sharma 称这种迭代式评测模式为最佳实践。团队需要一套能够代表工作流的留出集，然后随着发现“已知的已知”和“未知的未知”不断扩充；反复出现的失败并不是模型不够先进，而是没有定义清楚目标自动化究竟要完成什么。
生产评测数据集正逐渐成为一门类似软件开发的工艺。边缘案例会迫使团队重新设计，成功的组织会把数据和评测当作持续迭代的产品，而不是一次性投入。
这也排除了关于数据集规模的通用规则。狭窄任务可能只需要出人意料地少量数据，但更广泛的输入分布需要更多数据；决定性问题是示例是否代表真实工作流及其失败模式，而不是是否达到了某个名义上的样本数量。

9. 微调退守效率优化与专有判断

Sharma 对2025年的判断很直接：对于许多任务，“微调充其量是在帮助你提高模型效率”。大型前沿模型可能达到所需质量，但每小时处理数百万次查询时成本过高，因此可以将其输出蒸馏到更小的模型，以原成本的一小部分交付相近质量。
第二类需求仍然存在：基础模型确实缺少某项能力，或者公司拥有独特的质量判断。Labelbox 会微调自己的评估系统，因为开箱即用模型对“某名面试者能否产出优秀前沿训练数据”的判断，不一定与 Labelbox 观察到的实际结果一致。
Sharma 提到，他认为 Google 的 Med-PaLM 曾是一个警示案例，提醒人们不要高估狭窄的医疗语料库。根据他读到的内容，他表示，基础版 Gemini 2.5 模型的表现优于那款高度专门化的医疗模型。他的推论是，跨广泛数据学到的推理能力，可能比不会改善推理本身的数 PB 专有数据更重要。
在开源领域，他最常看到 Qwen、Llama 和 Mistral 被选来微调。选择往往取决于运营约束：专业化公司可能需要气隙部署或自托管，而数字原生公司可以使用云厂商或 OpenAI 提供的最先进模型。

10. 情境工程正成为企业控制平面

情境工程不只是调整提示词措辞，还包括检索、相关示例、文件、工具以及运行时提供的完整信息包。Sharma 以 Cursor 为典型案例：编程之所以有效，是因为基础模型能获得目录结构、相关代码片段、关联函数和当前任务的仓库上下文。
这种架构可以泛化：定义任务，检索正确信息，并暴露执行所需的函数。Sharma 认为，企业代理本质上是软件工程系统，包含领域—任务映射，通常涉及多次工具调用和轨迹，但不要求每家公司都成为神经网络训练专家。
Labenz 用自己的播客开场白来压力测试这一建议。他向 Claude 提供当前文字稿和过去完成的文章，但没有提供每个例子背后的原始采访文字稿；Claude 能复现节奏，以及他对 AI 既兴奋又恐惧的混合语气，却经常错过当下最独特或最具思想中心性的部分。
Sharma 建议加入持久化规则、失败案例和常见陷阱、替代基础模型、相关人物背景以及工具，而不是在能力每隔几周变化的情况下，把工作流冻结在一次微调里。他更深层的建议是编辑性的：最优系统或许应让 Labenz 保持“主编”角色，用 AI 获得杠杆，但不自动化那种独特的创意判断。

11. 前沿需求正在催生垂直整合的专家经济

Sharma 将前沿实验室的需求描述为对新型数据集的“永不餍足”，这些数据集用于训练远超编程和数学范围的更长周期任务。每家实验室“每年可能在数据上花费超过10亿美元”，而且他说这些预算还在增加。
人力机构可以快速安排承包商，但数据工厂还必须筛选贡献者、构建工具、编排工作流、保障质量，并快速交付完整数据集。当前大多数数据集都是混合产物：AI 和合成生成技术负责扩大产能，人类专家负责为最终数据提供锚定。
Labelbox 的顶尖贡献者年收入“远高于25万美元”，而其他领域和国家的收入上限大约为4万至5万美元。任务已经从5分钟标注，演变为构建强化学习环境、求解器、验证器或优秀行为示例；随着训练进入商业工作流，Sharma 预计薪酬还会继续上升。
企业采用另一种运营模式。制药、医学影像或医疗编码公司通常需要自己的深度专业人才，并利用 Labelbox 的软件平台运营数据工厂；类似 Palantir 的前置部署式协助取决于客户成熟度，强 AI 初创公司更可能保留完整的架构控制权。

12. 主权 AI 应从公民结果出发，而非囤积数据

Labenz 询问，巴西、印度或墨西哥能否收集符合本国文化和语言的数据，交给前沿开发者，在不建设数据中心、不组建研究团队、不训练国家基础模型的情况下改善本地表现。Sharma 不接受以数据为起点的方案：政府应先定义期望的服务，再反向推导所需能力。
机会在于以更低成本对公共服务进行“AI 原生”重构：让公民通过对话方式发现可享受的福利，获得基础医疗服务，或通过更直观的界面报税。根据国家不同，政府可以拥有整套技术栈，也可以只向私营供应商规定结果。
Sharma 在 Planet Labs 的经历提供了具体类比：Planet 运营着400多颗低地球轨道卫星，每天扫描地球，让巴西无需运营自己的卫星星座就能测量森林砍伐。有些能力应从最有条件提供它们的专业机构购买；另一些能力则可能需要政府针对本国公民独特策划。
Labenz 继续追问是否存在捷径，但 Sharma 表示，算力、数据和人才在许多情况下最终仍不可或缺。项目失败，往往是因为机构在定义用户体验前就采购技术、搭建抽象平台；一旦结果明确，生产数据集、评估系统，以及在应用和专用模型之间做选择，就会变得可执行。

13. 计算机使用代理将把真实工作流变成训练供给

当被问到为什么没人付钱观察他使用电脑时，Labenz 得到直接回答：“这就要来了。”Sharma 表示，Labelbox 已经在为多个计算机使用代理提供数据生产能力，而当前产品仍处于《Her》中那种伴侣的“第一局”——能够听见、看见并理解正在进行的工作。
当前模型可能很擅长阅读屏幕，却会在几何、空间关系或时间维度上失败。Sharma 提到的典型失败发生在一次会话开始约3分钟后：模型不再保留第1分钟确立的目标；能理解一张截图，并不等于能贯穿完整工作流。
Sharma 不会对某些高端产品利用客户会话改善可靠性感到意外，前提是产品设计和隐私选择允许这样做。与此同时，Labelbox 正在大规模生产覆盖多种语言和专业领域的会话数据：“能力正在烹制中，还没有正式推出。”

14. AI 面试将筛选工业化，也暴露新的作弊方式

Labelbox 不只看正式资历，还寻找“高能动性和高智商”；Sharma 认为，这些特征能够预测一个人在陌生、通用、长周期任务上的表现。能力强的通才仍然可以产生训练信号，正是因为他们能够学习那些当前模型还无法可靠完成的工作。
其 Zara 面试系统每天进行远超2,000场面试，同时大约有50人处于面试状态。每场30分钟的对话会纳入简历、论文、研究经历、领域专长和语言流利度；贡献者对这一体验的评分约为4.6-4.7，因为面试官有耐心、随时可用，而且讨论技术工作的深度超过普通招聘人员。
练习面试的需求并非 Labelbox 最初的计划，而是由贡献者自行提出。更不体面的涌现行为是作弊：Sharma 见过有人把运行 ChatGPT Advanced Voice 的 iPhone 放在旁边，让2个 AI 互相对话，迫使公司改进评估，并识别真正有意愿参与的人。
对话由多个模型供应商提供支持，Labelbox 则使用微调能力进行后续评分。面试结果会反馈到对“谁真正能产出高质量数据”的评估中，形成闭环，并随着时间推移同时改变评分方式和面试形式。

15. 能力可能快速起飞，但质量仍以人为锚

Sharma 认为，仍有“无限切片”的人类智能等待被模拟。在监督学习、无监督预训练、RLHF 和新强化学习范式之间，技术不断变化，但数据始终不可或缺；即使是合成数据集，只要系统最终要服务人类，也需要人类提供锚定。
他的长期图景是让人类“坐在驾驶位上”，通过数据指挥或管理数百万个 AI。数据可能采取尚未发明的形式，但仍会是人类指定任务、可接受行为和质量的媒介。
Labenz 在结尾提出这一张力：如果把最优秀的人类程序员大规模并行复制，可能加速架构发现并触发快速超级智能；而数百万个领域专用切片和数据集，则可能让系统停留在接近人类专家表现的平台期。Sharma 的回答是，两者都成立——“我们已经处于加速起飞阶段”——即便日常熟悉感让进步显得平淡。
Sharma 从如今约3,000万名开发者出发，设想未来几年将有数十亿名编码者使用 AI 助手，但他认为质量判断仍是未解决的约束。引用《禅与摩托车维修艺术》时，他指出，人们常常无法说清一件事为什么好或坏：“我们一看就知道。”AI 能否获得这种品味，可能决定下一轮加速。

加密专家解读稳定币与未来金融体系：Ali Yahya、Arianna Simpson 对谈 DeepL CEO Jarek Kutylowski：DeepL如何借助AI打造翻译巨头