Eiso Kant(Poolside CTO)——超人级编程即将到来!
摘要
Eiso Kant 认为,人类级智能覆盖大多数知识工作的时间只剩18–36个月,而 Poolside 最初的估计是5–10年,甚至可能15年。 他的判断是,仅靠扩大预训练模型规模无法实现这一目标:强化学习为下一个词的模仿加入了试错,而“靠微调无法走到 AGI”。这也是 Poolside 决定从零构建基础模型、承担高额资本开支的原因。
Poolside 的核心技术资产,是基于近100万个容器化代码仓库、数百万乃至数千万次修订记录的执行反馈强化学习。 测试、编译器、解释器和合成测试让模型探索并执行解决方案,变得“更正确、少犯错”。代码的独特吸引力在于,反馈具有确定性,同时问题分布又足够广,从密码学到数据库内核都有覆盖,能够保留通用智能。
Kant 将模型开发视为一个横跨参数、数据和强化学习3条扩展轴的优化问题。 Poolside 仅在1月就进行了4,000多次实验,覆盖架构、数据混合、消融实验和 RL 采样,目标是在固定时间和预算内训练出最高水平的智能,同时确保推理成本具备经济可行性。相比免费生成睡前故事等低价值消费任务,编程能够支撑更多算力投入。
真正的护城河不是某个秘密算法,而是持续累积的基础设施与组织学习。 Poolside 的可执行环境从1,000个仓库扩展到10,000个、100,000个,最终接近100万个;训练栈、数据、硬件映射和研究团队也同步复利增长。Kant 认为,DeepSeek 的实力同样应归因于约200名员工、10亿美元以上基础设施、2年的公开研究和47页的 V3 报告,而不是被盗数据的指控。
Kant 认为,强化学习提供的可用信号多于单纯对100,000条推理轨迹进行微调,尽管监督式轨迹仍可能帮助训练启动。 如果推理轨迹与正在提升的数学基准高度相似,他不接受这种训练已经实现广泛泛化的说法。R1 真正的突破不是所谓“500万美元”的训练成本,而是模型在没有得到足够“应该如何思考”的示例时,自行形成了连贯、类人的反思与推理能力。
今天的市场仍是“开发者主导、AI 辅助”,企业端的普遍收益更接近20–30%,而不是部分创始人和绿地开发者体验到的10X。 Poolside 的产品已从代码补全走向聊天,并越来越具备 Agent 工作流,覆盖编辑器和网页端,CLI 也即将推出。Kant 预计,随着时间推移,软件开发生命周期的大部分环节会被模型吞并,但一次性工具、银行系统和核导弹软件不会以同样速度变化。
企业分发是 Poolside 能力飞轮的一部分:收入为更多算力和人才提供资金。 软件开发支出约70%来自企业,这支撑了 Poolside “把模型带到数据旁边”的战略、全栈私有化部署和与 AWS 的一方关系。客户可以通过 Amazon 采购 Poolside,将权重部署在自己的 VPC 内,受监管场景可能需要单独的模型实例;整套系统只需1个 IAM 角色,40分钟内即可完成安装。
精读
1. Poolside 从 AGI 论开始,而不是从代码助手功能起步
Kant 很早就开始编程,并于2016年创办 Soured。他将其描述为第1家专注于让 AI 编写代码的公司,当时公司的模型已经能够完成代码补全。
2017年,Kant 认识了未来的 Poolside 联合创始人 Jason Warner。当时 Warner 是 GitHub CTO,并提出收购 Soured。Kant 拒绝了,但“我们还是成为了非常好的朋友”;两人于2023年4月创办 Poolside。
Poolside 从第1天起就坚持3步计划:帮助开发者、让任何人都能构建软件,然后扩展到其他领域。更广泛的使命,是打造可规模化的人类级智能,让商品和服务的成本趋近于零,同时把“无限”的科学与技术进步前沿拉得更近。
2. 专业化是在有限模型容量内重新分配能力,而非放弃通用智能
Kant 将 Google 归为“老一代”,将 OpenAI 和 Anthropic 归为第1代 AI 公司,而 xAI、Poolside 和 Mistral 则属于2023年4月至5月前后成立的第2代公司。他接受这样一种可能性:这些前沿实验室“最终可能都会到达同一个地方”,至少在软件能力上如此。
Poolside 的差异化在于,模型专门面向软件开发分发,而不是覆盖所有消费场景。但软件“不是写代码那么简单”:它需要世界知识、多步推理、长周期规划,以及将现实转译为数字系统的能力。
固定的参数空间和真实推理成本意味着必须做取舍。Poolside 希望保留广泛的领域知识,但愿意牺牲一部分喜剧能力、创意睡前故事写作和其他面向消费者的行为,把更多能力转移到软件上。
Kant 坦言,他无法回答未来属于一个静态、全能的模型,还是属于在各个环境中本地部署并持续学习的版本。如今,将企业上下文输入模型仍然很有价值,因此让模型靠近专有数据进行私有部署,是“战术性、阶段性的决定”,未必是永久形态。
3. 强化学习是扩展的第3条缺失轴线
Kant 的核心表述非常明确:“你永远不会听到我反对规模化。”Poolside 真正拒绝的是2023年的一种信念:只要把下一个 GPT 模型扩大10倍、再加入更多网页数据,就能单独实现人类级智能。
缺失的轴线是强化学习:下一个词预测类似模仿,RL 则更像试错学习。语言可以模拟可能的推理链,但没有外部反馈,就可能在合成数据上变成“一条蛇吃掉自己”——就像一个读完教材、脑中想象棋局,却从未通过输棋学习的棋手。
这改变了 Kant 的时间表。Poolside 成立时,他预计人类级智能还需5–10年,甚至可能15年;现在,他个人估计“绝大多数知识工作”只需18–36个月。这也是 Poolside 从头构建模型的原因:“靠微调无法走到 AGI。”
4. 可执行代码同时提供确定性奖励和广泛经验
Poolside 的强化学习环境包含接近100万个完全容器化的代码仓库及其测试套件,还有数百万乃至数千万次修订。在指定提交版本上,模型可以修改代码,并从测试、编译器、解释器或合成检查中获得反馈。
这个环境覆盖密码学、Web 应用、数据库内核以及许多其他问题类型。模型采样候选推理和解决方案,执行它们,然后朝着“更正确、少犯错”的结果更新——这是 Kant 更偏好的表述,而不是简单区分正确或错误。
窄化的确定性任务可能导致模型过拟合,或把模型压缩成单一专业系统。编程处于一个有用的中间地带:它足够确定,能够规模化地产生奖励;同时又足够多样,使得优化编程能力的过程仍能增强语言、推理、规划和通用智能,而不是再造一个只会下围棋的系统。
5. 每一次模型改进,最终都归结为更好的数据或更高的算力效率
Kant 将自己的解释限定为“最佳猜测”,因为目前既没有扎实的科学理论,也没有可靠的可解释性。他的工作模型是,神经网络学习的是高维表征,范围从事实知识、语言使用,到推理和多步过程。
规模化网页数据的下一个词训练,主要提升了数据中出现频率最高的特征——语言和知识——却没有同等程度地提升复杂推理或科学问题求解。RL 提供的数据可以强化那些更稀缺的表征;如果拥有无限的人类思想记录和反馈,普通的下一个词预测或许也足够。
他有意采用一个简化规则:所有研究要么提升训练效率或推理效率,要么改善数据,“从而提升智能”。线性注意力属于第1类;可规模化强化学习属于第2类。“你做的任何事情,都可以放进这两个桶里。”
Poolside 仅在1月就进行了4,000多次实验,覆盖架构、数据消融、权重混合、RL 和样本数量。目标是在仍能以可负担成本提供服务的时间与训练预算内,实现最大智能水平。相比免费生成睡前故事,具备经济价值的软件工作让这一约束更容易满足。
6. 企业经济学迫使 Poolside 掌握完整技术栈
Poolside 计算得出,约70%的软件开发支出发生在企业内部。企业客户反复要求它“把模型带到数据旁边,而不是把数据带给模型”,于是 Poolside 开始在 VPC 和本地环境中部署模型、上下文系统与应用。
Kant 认为“随着时间推移,所有人最终都会上云”,但目前 Global 2000 企业买家看重其他供应商无法提供的部署选项。因此,Poolside 将私有基础设施和安全工程视为战略产品工作,而不是临时定制。
当被问到为什么不直接在其他公司的模型上叠加执行反馈 RL 时,Kant 回到了 Poolside 的 AGI 目标。公司最初提出的“面对经验数据,坚定信念、弱持有”包括3项判断:从零构建基础模型、将 RL 作为能力扩展器,以及“所有数据最终都会变成合成数据”。
Kant 怀疑,人类级能力会通过对最新开放模型进行后训练而出现。他也质疑,如果前沿训练继续需要巨额资本,“真正开源的 AGI”是否还有存在空间。
7. 前沿模型的护城河通过数据、人才、系统和硬件复利增长
Kant 将 DeepSeek 描述为一支约200名研究人员和工程师组成的团队,拥有10亿美元以上基础设施和2年的高质量公开研究。其47页的 V3 技术报告向前沿研究人员展示了模型为何有效;他不认为 DeepSeek 盗取了数据或存在恶意行为,但这与他对其价值观是否与 CCP 对齐的担忧是两回事。
Poolside 自身的优势也以类似方式复利增长。其可执行语料库从1,000个仓库扩展到10,000个、100,000个,最终接近100万个;数据清洗、分布式训练、并行化和团队积累的共同经验也在逐月提升。
硬件决定架构,而不是被动接收一个预先选定的架构。从 Hopper 系统转向由 NVL 连接72颗芯片的 GB300 配置,会改变训练和推理的最优方案;因此,架构研究会持续与底层硅片形成循环。
规模不再只意味着参数数量。Llama 的训练规模从约2万亿 token 增至15万亿 token,尽管这曾因不符合 Chinchilla 最优比例而被称为过度训练,因为 Chinchilla 的计算遗漏了推理经济学。Kant 将一个据称由“632K”颗互联 H100/H200 级芯片组成的系统,与可能通过10万颗 GB200 或 GB300 实现的等效 FLOPs 相比较:不同硬件会带来不同的工程约束。
8. 推理轨迹是数据,但强化学习携带更丰富的信号
Kant 说,在极限情况下,“所有东西都只是数据”。无限的高质量推理轨迹可以通过下一个词预测教会模型人类级能力,但在今天、算力相同的条件下,RL 优于对100,000条轨迹进行监督式微调,因为奖励携带的纠正信号多于一个成功样本本身。
他不接受小规模推理数据集能够带来“巨大的泛化”的说法。很多时候,数学基准之所以跃升,恰恰是因为微调轨迹与基准题目高度相似。足够多的数据最终可能带来更广泛的顿悟式泛化,监督式轨迹也仍可帮助训练启动,但 Kant 认为 RL 才是可规模化的路径。
R1 最惊人的结果不是“500万美元”的训练成本 headline,而是模型能够在没有得到足够“思考应该是什么样”的示例时,自行形成连贯的语言化思维,然后在客观可测的数学和编程任务上取得改进。主持人强调了模型表现出的“等待”、反思和推理行为;Kant 则强调其自我反思和有用思考能力的提升。
主持人追问这里的“零”是否指 AlphaGo Zero,并表示自己记得其中仍然存在一些人类初始化。Kant 更窄的表述是,基础仍然来自人类的网页数据;RL 则显著改善了预训练模型的思考能力,并缩小了必须搜索的解空间。
9. 更好的推理会收窄模型的搜索锥,但不会消除创造力
Kant 将当前的推理定义为面向目标的探索。更难的目标仍然需要更丰富的世界知识、更强的语言操控能力和足够大的模型;如果1,000个多样化样本中有1条正确链路,说明这种能力已经存在于模型的潜在空间中,训练可以让它变得更容易出现。
他偏好的比喻是一个可能性之锥。理想情况下,确定性任务在温度为0时成功,并且希望在0.7时仍然成功:模型先打开足够多的可能性进行搜索,再向正确答案收敛。小模型的锥可能展开得很广,却没有足够容量收敛到可泛化的解决方案。
主持人对比了一个“更薄”的 o3 基础模型和更“厚”的 Sonnet 3.7:前者容易通过增加推理算力进行扩展,但更早触及 S 曲线拐点;后者更难扩展,却保留了更多上行空间。推理轨迹在1 billion 参数的 Llama 上也未能“扎根”。Kant 的回应是压缩:把过多知识塞进过小的容量,关键结构就会丢失。
当通往确定性答案的路径未知时,创造力不可或缺——Einstein 需要一个宽广的概念之锥来提出相对论;但无限温度只会产生垃圾。RL 会压制整条无效分支,比如在不适用的地方套用微积分。对模型和人而言,“天才与疯狂之间只有一线之隔”。
10. 日常工作和科学发现应采用不同的算力预算
对于会计或软件开发这类预算已知的知识工作,Kant 希望推理之锥足够窄、足够高效。对于癌症研究或材料突破,他愿意支付更大的广度和深度,因为有用的垫脚石可能远离今天被接受的路径。
他也不认同最终一定会走向无限大的模型。一旦模型规模已经针对可用算力和数据完成优化,更好的方式可能是将模型横向并行,并进行搜索;这意味着回到“苦涩的教训”,而不是把参数增长视为智能的唯一来源。
11. 随着模型变强,产品从辅助走向自主
Poolside 希望把软件创造者从目前可能超过1亿人扩展到任何人都能构建软件,同时让前沿开发者的生产力提升10X或100X。Kant 将软件视为实现丰裕的杠杆:智能越强,对这根杠杆施加的力量越大,现实世界的成本就越低。
今天更诚实的表述仍是“开发者主导、AI 辅助”。产品设计必须用合适的代码仓库、网页和组织上下文弥补模型局限;Poolside 目前通过编辑器和网页端工作,CLI 很快推出。
产品形态与能力相互作用:代码补全变成聊天,聊天正在变成 Agent,Kant 预计自主程度会持续上升。更好的模型不只是带来更高的基准分数,也会改变周边产品能够安全开放哪些操作。
12. AI 先加入软件团队,再取代团队协作系统
主持人描述了自己从作者转为审阅者,用1到2个月完成过去需要数年的工作。Kant 将其视为给团队增加一个“拟人化实习生”或 Agent:琐碎的文档改动不需要审查,但大范围重构仍然需要共同理解和输入。
他的反主流观点是,代码审查首先是为了知识共享,其次才是发现 Bug。随着 AI 更快地产生代码,团队仍必须决定哪些决策影响足够多的人或足够大的代码范围,值得进入审查流程;单纯提高吞吐量并不会消除这条组织边界。
Kant 为最夸张的生产力故事降温:在企业环境中,目前的收益通常是20–30%。自动化单元测试可能让一个开发者快2X、3X或4X,但另一个使用专有语言的开发者可能几乎得不到帮助,因为模型缺少相关能力。
会有更多人构建原型和内部工具,尤其是产品经理,以及可能已经在推动团队围绕想法行动的“5人中的1人”商业人士。但能力并不会创造普遍需求:“不是每个人都想构建软件,即使他们明天就能做到。”
13. 随着可靠性提升,软件生命周期会不均匀地收缩
对于生命周期只有1周、用完即弃的软件,传统生命周期的大部分环节可能消失。核导弹软件、全球银行系统以及其他要求多个9可靠性的系统,可能会保留检查和审批更久,即便每个步骤都由 AI 执行。
在理论极限下,一个高于人类水平、从不引入 Bug 的开发者,可能让3小时 CI 运行、单元测试和其他闸门变得不合算。Kant 预计许多控制环节会被模型吸收,“但不会到处同时发生”。
目前应对模型局限的方法,是采用规模更小、模块化并且关注点分离的软件。一个巨大的单体系统,如果反复让模型“尽情 vibe code”,最终会崩溃——这也是 Kant 职业早期得到的教训:回头看代码时,他会问,“天哪,我到底写出了一个什么怪物?”
14. 多 Agent 系统可能超越今天的开发者协议
当前类似 MCP 的协议帮助模型完成开发者会做的事情:检查数据库 schema、搜索文档,或从协作工具中收集信息。18个月后,Kant 不确定这些协议是否仍有必要;Computer-use Agent 可能直接导航,或者模型可能直接针对 API 或数据库编写代码。
更难的问题是如何协调大约1,000个模型实例。人类组织采用层级结构,是因为一个开发者无法检查500名同事的想法;但 Agent 可以存储和调取共享推理,逐文件并行分析,并在百万 token 级上下文中运行,而人类无法容纳这样的上下文。
Kant 提议捕捉开发者生成的思维过程,建立一个记录代码为何存在的语义数据库。随后讨论将这种可复用的语言推理连接到未来的 Agent、可解释性乃至安全问题,即便潜在空间推理最终证明在算力上更高效。
15. 新架构只有在效率优势经得起规模化时才有意义
主持人提到一种据称只需5或6步扩散、效率约提升10X的扩散语言模型。它支持本地代码编辑,也允许开放式测试时计算。Kant 指出,这是一款中等规模模型,并拥有灵活的测试时计算;决定性问题在于,它的优势能否在规模扩大后继续存在。
切换架构需要确认此前积累的实验结论是否仍然成立,也需要足够大的效率提升。Poolside 在1年多以前就押注了受 RNN 启发的线性注意力,并从秋季开始运行采用该架构的生产模型;考虑到其他尚未公开的架构工作,它不太可能转向扩散方案。
小模型上的成功还不够。一种在约70亿参数规模上得到验证的方法,必须在700亿参数、甚至 MoE 配置下仍保有优势。Kant 称这款新的扩散模型只是“冰山一角”,但他希望看到其收益经得起前沿规模化验证。
可解释性同样必须规模化。即使没人能理解一个 Google 规模的完整代码仓库,代码仍然具有确定性,并且可以在局部检查;神经网络推理则可能永远无法完全透明。Kant 倾向于将激活层和权重层研究——例如 Chris Olah 团队的工作——与语言推理结合,同时承认,一条看似合理的推理链可能掩盖了另一种内部目标。
16. 代码仍将存在,多模态持续扩展,AWS 关闭能力飞轮
Kant 已经放弃了最强版本的 Software 2.0 观点,即一切最终都会变成模型。支付系统、电网和铁路道岔受益于可追溯、可测试的代码,而 CPU 仍然极其擅长确定性执行;因此,模型可能会以更低成本编写和维护 Uber Eats,而不是持续用神经网络模拟整个应用。
当主持人警告不可理解的系统和级联故障时,Kant 指出,人类建造的基础设施本来就具备这些特征。更强大的 AI 反而可以投入大规模算力,加固遗留系统、补写被忽视的测试并提升安全性:“我希望护士是人类,但我希望有一天外科医生是机器人。”
软件需要多模态能力的地方,多模态“100%会到来”:屏幕理解、Computer-use 和视觉反馈对于打造漂亮界面、操作控制台都不可或缺,但许多任务使用 API 仍然更便宜。生成式 UI 在技术上可行,但 Kant 希望 Uber Eats 每次看起来都熟悉;人们看重界面的一致性。
Poolside 与 AWS 的一方关系,把分发转化为研究能力。企业可以通过 Amazon 的合同采购 Poolside,消化既有承诺额度,在私有 VPC 内部署权重,并使用 Trainium 1 或 Trainium 2。受监管场景可能需要独立实例;如今,托管安装只需1个 IAM 角色,40分钟内即可完成,之后解决方案架构师会协助处理防火墙、微调、访问边界和采用率指标。