摘要

Agent训练的关键分水岭不只是数据规模，更是任务能否被目标与Verifier闭环。 已有文本、图片和视频协作数据的任务可先靠SFT学习，再用RLHF对齐偏好；但一个任务若对应50次工具调用，互联网上根本没有这种完整轨迹。代码、数学、物理、供应链等目标驱动任务需要反事实生成新解，再由ground truth验证——“如果能够找到一个验证器，那我可以认为问题解决了。”
OpenAI五级AGI中，真正的技术鸿沟不是聊天到推理，而是第三级Agent到第四级Innovator。 朱哲清认为这套分级偏产品能力：第1级取决于具体定义，2到3未必有巨大跨越，4到5之间也未必差距很大；难点是Verifier能否从已知知识泛化，判断AI自己发现的新知识。“3到4之间，是远超过1、2、3跟4、5之间的差距的。”
RL预训练可能把AI推向人类未知的知识，也可能产生能运行却没人看得懂的策略。 目前类似尝试仍可能带有无法靠预训练获得的先验知识；若进一步发展，一段代码可以输入输出完全正确，内部变量、操作与编译逻辑却像乱码，而“人类可读性”本身又难写成规则验证。朱哲清因此把Reward design视为潜在监管对象，因为训练时赋予Agent的incentive会决定其最终行为。
RL的成本劣势是真实的，但复杂任务最终可能不给企业选择。 泓君引用“效果约好2倍、token消耗约10倍”的说法，朱哲清没有确认比例，只解释RL只能依靠reward function完成目标，SFT则已有标准答案；所以“强化学习微调的价格会更高”。当任务复杂到不存在标准答案时，性价比比较将失效：“到了未来问题会越来越复杂……就没有选择。”
Meta收购Scale AI的逻辑，可能不是回到纯文本数据竞赛，而是补多模态与机器人领域的中期标注缺口。 朱哲清把资源周期概括为短期算力、中期数据、长期RL优化：图片审美难统一，视频细节难解析，机器人的中间动作甚至可能让标注者看不懂。多模态可能要先提高解析与奖励模型能力，才可能建立Judge或Verifier并进入强化微调。
Pokee AI押注自研“推理＋工具序列”模型，以一个API、一行prompt直接交付结果。 浏览器或虚拟机能把几千个工具压成一个通用界面，却带来高成本、低速度和专业场景泛化不足；Pokee选择直接访问工具，并希望未来把语义理解、规划、工具选择和结果生成合成单一模型。但朱哲清强调，“模型能力是决定你的产品下限的，而产品的上限是由你的产品细节决定的。”
RL人才稀缺与Agent负毛利，将共同驱动下一轮资本分化。 朱哲清估计真正能优化好RL的“整个行业也就这么几十号人”；与此同时，Agent公司可能增长越快、亏得越快，甚至出现负50%毛利。技术路线决定能否活下来，创始人与团队决定产品分化；未来一到两年，市场可能出现小团队被收购的“大鱼吃小鱼”过程。

精读

1. Agent越长链，SFT越失去训练数据

朱哲清先区分两种RL架构：一种以语言模型和token为决策单元，另一种直接把Agent的动作作为决策点。“这两种决策方式没有好坏之分”，差别在于用例，但共同点都是以最终目标驱动训练。
对已有大量协作数据的文本、图片和视频任务，SFT通常足以建立较高能力；随后再用RLHF按人类偏好精调，因为互联网数据“掺杂着好坏”，预训练学到的是总体分布，并不天然等于人类喜欢的答案。
工具链打破了这套数据逻辑：单次tool calling可以监督学习，但“这个任务所对应的是这50个工具调用”的完整轨迹既不存在于互联网，也几乎没人生产过。若坚持SFT，只能依赖人为标注。
数学和代码尚有较多样本，物理、金融、城市规划、研究执行、供应链等目标明确的专业任务却普遍缺数据。朱哲清主张反事实生成从未出现过的方案，再让ground truth验证器判定对错；这正是“强化学习最闪光的时候”。

2. AGI真正的鸿沟在第三级到第四级

泓君借OpenAI五级框架定位进度：第一级是ChatGPT式聊天机器人，第二级是推理型AI，第三级是能完成订航班、酒店等多步骤操作的Agent，第四级Innovator能发现新分子或创造新工具，第五级则可独立承担整个组织的职责。
朱哲清的异议是，这更多是产品能力分类，而非技术能力分类：第1级取决于定义，2到3没有巨大跨越，4到5的能力距离也未必很大。“主要是3到4之间有个巨大的差距”，根因是验证能力无法从人类已知领域顺畅外推。
他的算术例子把问题讲透：会验证20位数加法的Agent，如果从未见过减法，仍无法判断减法答案。下一步既要能从人类给出的“减法与加法关系”直接推导新Verifier，也要能以已有知识为锚，自我探索并延伸未来知识的验证边界。
Verifier若能适应Agent偏离人类经验的新输出，AI才可能像AlphaZero走出人类想不到的路径，甚至发现新的物理定理；这与幻觉不是同一个问题。朱哲清还认为，多Agent的目标冲突可能形成类似办公室政治或竞态条件的僵局；泓君在对话中进一步提到“回形针问题”。

3. RL预训练能发现新知识，也可能产出人类看不懂的答案

在Verifier泛化上，朱哲清尚未看到“大突破”，目前路径主要还是人类知识蒸馏。RL预训练虽被越来越多人讨论，却是“完全反事实学习”：系统可能找到正确但人类无法理解的解法，例如代码能运行，变量与操作逻辑却全像乱码。目前他们所做的类似尝试仍带有无法靠预训练得到的先验知识。
这使reward definition成为致命约束：若奖励只检查输入输出，模型可能牺牲可读性；但“人类可读性没有办法用个规则来解决”，又会退回不可验证。泓君由此感到风险上升；朱哲清则区分说，Hinton的神经网络更多用于表示人类知识，而反事实知识发现或策略发现还要依靠强化学习。
泓君引用“RL效果约好2倍、token消耗约10倍”的行业说法，朱哲清解释成本差来自信息更少：RL只有reward function，需要自行找到达成目标的路径；SFT则已有标准答案。复杂任务尚少时两者仍可选择；未来一旦没有标准答案，“它就不再是一个选择性问题”。

4. 多模态把数据标注重新变成中期瓶颈

面对“既然RL能减少标注，为何Meta还要收购Scale AI”的追问，朱哲清推测Meta可能在为多模态和机器人领域补课。文本数据的重要性下降，不代表图像、视频和动作数据可以跳过标注，因为后续验证首先依赖模型准确解析输入。
当前多模态模型仍偏文本能力，图片和视频中的许多细节解析不好；而图像又缺少天然标准答案。可能的路径是先用数据训练基础模型与奖励模型，把多模态能力推高，再把输入输出能力转化为Judge或Verifier，最后进入强化微调。
图片标注的难点不只是雇多少人：同一张产品图“100个人估计有100个说法”，必须设计复杂rubrics并训练标注者。机器人更难，人可能看不懂某个中间动作为何发生，而机器人自己的plan可能是先完成这一步，才能抵达后续目标。
朱哲清给出的资源时间表是：短期瓶颈曾是算力；中期是多模态数据；长期仍是RL优化。他认为GPT-4o之后，代码与文本经历的迭代路径正在横移到多模态，但审美、视频和动作标注会产生新的对齐问题。

5. Pokee用自研模型直接编排工具链

Pokee AI的目标是让企业、开发者和professional调用Agent时，也拥有ChatGPT式的简单体验：“一个简单的API，一行prompt”，直接得到最终交付物，不必管理浏览器环境、虚拟机或大量基础设施跳转。
技术取舍上，浏览器相当于“用一个工具代替了几千个工具”，降低了工具数量；Pokee则尽量把能力压进模型，直接铺开互联网工具。它选择的不是单个Agent或单个工具，而是“一个推理加工具选择”的完整工具序列。
朱哲清说Pokee已经用自研模型完成大量模型调用与选择；未来还可能把语言模型部分合并进来，让用户输入、语义理解、规划、工具选择和最终结果都由同一个Agent完成，减少基础设施之间的来回跳转。
PostHog案例展示了浏览器路线的边界：Agent要读取用户行为与指标、导入分析脚本、生成多个segmentation图表，再写入报告并输出PDF。浏览器或虚拟机既昂贵又慢，也没在训练中见过这类专业网页；直接访问工具才能获得精确数据并完成流程。

6. 模型决定下限，产品细节决定上限

朱哲清把自己拆成两半：作为研究者，他赞成在越通用的环境里做端到端训练，因为可能得到越强的模型；作为产品人，他选择更多确定性与细节控制，因为“用户的体验跟模型的能力是不成正比的”。
Pokee曾完整执行跨平台发帖，却没有把发布链接返回给用户；工具选择从头到尾都正确，用户仍不知道内容发到了哪里。这个失败不在模型能力，而在产品没有让过程和结果可见。
生成Google幻灯片时，Pokee也从只返回外部链接，改为直接嵌入页面，让用户原地查看和修改。朱哲清的产品结论是：“模型能力是决定你的产品下限的，而产品的上限是由你的产品细节决定的。”

7. 模型可塑性与奖励设计是RL的长期约束

泓君介绍Richard Sutton为2025年图灵奖得主。朱哲清说，Sutton和自己的导师是铁哥们，自己在斯坦福读博时见过Sutton多次。他尤其敬佩Sutton在患癌、几年没有工作及RL被视作“玄学”的阶段仍未放弃，并把教训概括为：“如果你自己觉得第一性原理是对的，就不要放弃。”
Sutton多次向他强调model plasticity：模型不能被无限训练，训练到某个程度后会崩溃，并可能出现catastrophic forgetting。朱哲清用海绵注水作比——继续灌入时，流出的未必是新水，也可能是原有关键知识；若模型忘掉加减乘除，后续知识体系可能一起崩溃。
朱哲清判断模型规模线性增长、数据量指数增长，最终一定碰壁。Pokee训练较小模型时已经见过性能突然大幅下降，只有换成更大一档模型才能继续训练；continual learning因此不是远期抽象问题。
Sutton关注的另一条线是奖励：单步激励看似合理，序列累加后却可能背离设计者原意；同时优化四五个目标时，平衡更难。generalized value function试图让模型在同一状态估计多个目标的价值，再决定如何折中。

8. 能优化好RL的核心人才只有几十号，研究正从专用验证走向通用Agent

朱哲清估计，真正能把RL优化好的人“整个行业也就这么几十号人”。人才主要源自早期OpenAI、Pieter Abbeel的学生、Sergey Levine的学生、Richard Sutton的学生，以及以David Silver为核心的DeepMind体系；Microsoft的John Langford也是早期理论先驱。
2015至2018年，AlphaGo、AlphaZero、MuZero和StarCraft把RL推到阶段高峰。David Silver一派偏formal verification：规则明确、对错可知，再训练解决单一问题的dedicated Agent；湾区则因OpenAI和DeepMind相关人才聚集，更可能成为当前中心。
OpenAI早期的Gym environments试图通过简单游戏证明目标导向能力，却也让行业把RL视为“止于游戏”。朱哲清承认，今天RL仍主要是大语言模型之上的优化器；若RL预训练真能从零训练出通用决策系统，才会成为实质性突破。

9. Agent公司先拼毛利生存，再走向分化与并购

在ICML panel谈技术创业融资时，朱哲清给出的策略不是硬卖非共识技术，而是“利用市场的共识，但是在这共识之上加一个逻辑飞跃”：先说明市场认可的问题，再证明你的实现方式与不公平优势。
对Genspark、Manus、OpenAI的ChatGPT和Fellou等不同路线，他判断最终会像Mistral、OpenAI、Anthropic一样分化。技术决定公司能否存活，创始人和团队则会把产品带向不同专注领域。
Agent的生存约束首先是成本：公司可能融到很多钱，却“增长越快，死得越快”。如果持续入不敷出，毛利润可能出现负50%之类的情况；下一轮投资人会追问技术升级能否把毛利转正。
对接下来一到两年，朱哲清预期市场可能出现“非常疯狂的大鱼吃小鱼”。估值接近10亿美元的公司较难被收购，但规模更小、相对容易出售的团队，被并购的概率可能很高。

E201｜从Manus到ChatGPT Agent：底层技术架构有何不同？（上）Sarah Paine——帝国日本如何击败沙皇俄国与清中国