开源模型 vs 前沿模型:究竟谁赢?| 每位工程师都将需要的10万美元Token预算
摘要
Clay Bavor 的核心判断是:更便宜的开放权重模型会接管昨天的前沿模型工作负载,但不会消灭市场对前沿模型本身的需求。 2023年春季GPT-4级别的智能,如今每个等价Token的成本约降至原来的1/300,前沿模型到微调开放模型之间正在形成一条“流水线”。但编程、科学、法律、发明和发现等工作,可能支撑对“姑且称之为前沿级智能”的无上限需求。
Token价格会因技术进步而下降,但未必在经济层面崩塌,因为推理需要消耗更多算力,而GPU和电力仍然稀缺。 OpenAI 的o1表明,随着测试时算力增加,模型表现仍在提升;Nebius 创始人告诉Harry,即使供给增加10倍,也可能在1天内售罄。Bavor听说并观察到,顶尖工程师按运行速率计算每年Token支出超过10万美元;他押注稳态支出会“更接近开发者薪资的20%”,而不是3.8%。
AI应该带来更小、杠杆率更高的团队,但Sierra的企业级打法说明,不能把1家149人的软件公司模式外推到所有领域。 其工程师估计,Claude Code、Codex和Sierra内部工具让他们的生产力提升3至20倍;但代表Fortune 50中40%的客户仍需要集成、信任、监管理解和前置部署支持。Bavor的限定条件很关键:FDE并非必需,但它们是“重要催化剂”。
Sierra正通过共享数据网关、全公司Agent、可复用技能,以及建立在运营语境之上的战略模型,在内部成为一家AI原生公司。 Pinecone可以检索获准访问的Slack消息、文档、演示文稿和复盘材料;Bavor则用自定义技能扫描每1份招聘材料。Sierra Brain加入20至30页的公司介绍、董事会信、运营复盘和战略信念,打造1个深入理解业务的“战略思考伙伴”。
产品版图已经从客户支持扩展到由Agent驱动的前台全链路,覆盖发现、销售、转化、服务和营销。 Rocket的部署涵盖住房发现、再融资触达、贷款准备和贷后服务;Next则用Sierra提供个性化产品推荐并搭建购物篮。终局是“对话就是界面”的世界,背后依靠可复用的行业能力,而不是无休止地堆积定制项目。
Sierra围绕里程碑而非日历惯例或最高 headline 估值来安排治理和融资。 董事会每6周交替召开3小时和90分钟会议,使用6至10页的备忘录,因为“写作就是把思考写在纸上”;当Claude 4.5和Codex 5.2改变软件开发方式时,这一节奏让管理层能够及时反应。每1轮融资都是投资人主动找上门,Sierra都“引导并接受了更低的价格”,以便为下1个明确更高的里程碑融资。
AI熟练度正在重塑谁能创造杠杆、Sierra如何面试,以及初级人才的优势来自哪里。 Sierra最有效率的员工中,有些只有22或23岁,而且“彻底AI化”;如今工程候选人会获得150美元,用于购买自己选择的编码Agent,并在自己的笔记本电脑上完成构建,再解释结果。更广泛的招聘标准仍是“聪明、友善、强悍”,将工具熟练度与系统判断、产品思维和文化契合结合起来。
精读
1. Sierra在平台重置之际成立,没有追逐预训练
Bavor在Google度过了18段愉快的岁月后离开,原因是2022年末3个条件同时成熟:长期以来的创业意愿、对Bret能力与品格的信心,以及语言模型正在把“那副牌”重新洗牌,给小公司带来机会。两人相识20年,此前也差点合作过几次。
Sierra从Google继承的关键特质,是愿意沿技术栈一路下探到产品真正需要的深度。Sierra在2023年4月就预判语言模型Agent将出现,招募了ReAct论文背后的Princeton教授担任创始研究负责人,并在相关能力“应该可以实现”但尚未具备工程可用性时,打造新的Agent框架和架构。
Sierra曾考虑预训练,但很快放弃。Bavor称,前沿模型是“一袋高度易腐的浮点数”,初始资本开支和持续资本开支都只有极少数公司承担得起;Sierra选择紧跟实验室和超大规模云厂商,然后在开放权重模型之上构建专有微调模型。他的边界是:掌控自己的命运,但不要虚构出“必须拥有更多技术栈”的故事。
2. 开放权重继承昨天的前沿能力,智能需求却持续攀升
Harry的悲观情景挑战很直接:如果开放模型能够处理不断扩大的多数企业任务,前沿模型最终是否只剩越来越难的问题?Bavor的回答从当前分母开始:完全自动化的企业工作仍只是“舍入误差”,而差距除了模型能力,也可能来自模型、应用层和组织扩散等问题。
Bavor将常规能力过剩与高价值智能分开看。任何软件公司都会把高级工程师升级为首席或杰出工程师;退货不需要最强模型,但编程、法律、科学、材料、发明和发现表明,对有用智能的需求没有明显上限。
经济运行模式是一条“流水线”:2023年3月、4月或5月的GPT-4已经能够支撑有价值的工作负载,而如今同等智能的每个Token成本约为当时的1/300。这些工作负载可以迁移到微调开放权重模型;前沿模型则继续服务于只有更高智能才能覆盖、且收益足以支付成本的任务,企业最终会混用两者。
对于中国更强的开放模型生态,Bavor给出的解释带有保留:这是对美国前沿训练运行结果进行规模化蒸馏。如果美国实验室发布可比的开放权重模型,就会压低自家托管模型的价格;如果另一家公司无法亲自打造前沿模型,“也许下1个最优解就是把它们蒸馏出来并提供给市场”。
3. 推理和稀缺算力阻止Token经济学崩塌
Bavor认为1个被忽视的里程碑是2024年末的OpenAI o1。它的测试时算力曲线持续“向右上方移动”——以对数方式增长,因此最终会趋平——额外的推理和思考带来了更好的表现。其含义是,更便宜的Token会让模型和Agent为追求更高智能而消耗更多Token。
硬件会让每1美元对应的等价Token数量增加,部分工作负载也会迁移到更便宜的开放权重模型。但如果对智能的需求事实上没有上限,而Blackwell、H100、电力和GPU容量仍是瓶颈投入品,那么即便底层技术持续进步,基本的供需关系仍会为Token价格托底。
Harry转述Nebius的判断:即使容量增加10倍,也可能在1天内售罄;Bavor相信这一说法。自建模型会削减前沿模型供应商部分利润,但无法消除能源和算力等受约束的物理投入。
本地模型可以改善消费者体验,但单靠本地模型无法解决服务端挑战。手机会遇到散热限制;Bavor设想过针对语言模型优化的设备,或接入市电、放在家中的计算设备,可能缓解部分需求,但前沿工作仍需要“某个数据中心里1个巨大的TPU或GPU机架”。
4. AI原生工程把瓶颈推到了代码之上
深度使用Claude Code、Codex和Pinecone的Sierra工程师估计,他们交付功能的速度提升了3至20倍。Bavor预计各职能都会出现更小、杠杆率更高的团队,但他认为软件工程和数据分析效率的提升已经明确可见,而不是仍待验证的假设。
Sierra的内部基础设施是1个MCP网关,将主要系统和服务聚合到1个具备权限感知能力的接口中。接入Claude、Codex或Pinecone后,员工可以在自己有权查看的全部信息上进行推理,包括Slack、文档、演示文稿和运营复盘,同时不会获得他人私密资料的访问权限。
Pinecone在这一网关之上叠加了公司专用工具链和共享技能库。Pinecone知道如何构建Pinecone;它围绕自身工程,以及Sierra的核心Agent架构和Agent Studio——Agent在这里被构建和部署——都搭建了工具链。Bavor的私人“Clay扫描器”编码了他审阅招聘材料时关注的内容,加快了他对每1位候选人的审核和批准。这套系统“正接近不可或缺”。
Sierra Brain向任何Agent提供1份20至30页的公司说明,涵盖公司、组织、竞争、优势和弱点,以及近期董事会信、运营复盘和其他关于世界的判断。随着代码生成能力提升,Bavor预计约束会从写代码转移到审代码,再转移到决定什么可以存在,并把它编辑成什么应该存在。
5. 企业级AI仍靠嵌入客户现场的人来规模化
Harry将Sierra与Lovable作了对比。据报道,Lovable已经——用Harry的话说,“我认为”——以149人实现5亿美元ARR。Bavor认同团队趋于精简的方向,但拒绝把它当成普遍模板:Sierra有50%的客户营收超过10亿美元,30%的客户营收超过100亿美元,公司服务于Fortune 50中的40%。
这些受监管、技术复杂的组织都是“雪花”。要取得成功,必须理解业务结果,接入异构技术栈,建立关系并赢得足够信任,成为合作伙伴,而不是“把一些软件扔过墙”的供应商。
Sierra借鉴了Palantir的前置部署模式,早期设计合作伙伴包括Olakai、SiriusXM、Sonos和Weight Watchers。工程师深度嵌入客户现场,创始工程师Mihai甚至实际上成了Weight Watchers的员工,还会收到绩效评估邮件。这种贴近客户的方式让Sierra理解了部署面向客户的AI到底需要什么。
Bavor拒绝接受“没有FDE就卖不动企业级AI”的绝对判断:Sierra的平台透明、可导出,也可以独立使用。但客户与Sierra共同部署后,Next在6周内就从项目启动进入电话和聊天生产环境,Cigna则约58天上线;这使FDE成为缩短价值实现周期、提升结果质量的重要催化剂。
6. Sierra正从支持业务扩展到完整客户生命周期
Rocket展现了这一方向:Sierra与Redfin重新思考住房搜索,联系潜在再融资客户,构建Rocket Assist以设计贷款方案并收集信息,随后继续支持贷后服务。Next则通过个性化推荐搭配服装并扩大购物篮。这些是入站和出站销售动作,而不只是支持自动化。
Bavor的平台策略是让应用反哺可复用平台,使第3、4、5个应用更容易构建。如今编码Agent让构建真正独特的Fortune 50需求变得经济可行,但他的直觉是,看似只出现1次的需求通常会在其他地方重复,最终变成共享的行业能力。
巨大市场的代价就是竞争。Bavor称客户正在“用脚投票”:Sierra的规模是同一时期成立、最接近的类似初创竞争者的数倍,增长速度也更快;由于平台广度和行业经验会复利增长,他的判断是,市场更可能走向Uber/Lyft式格局,而非AWS、Google Cloud、Azure三足鼎立,Sierra希望占据更大的头部位置。
7. 每6周治理一次,用快速重定价取代仪式化董事会
Sierra每6周交替召开1次3小时董事会和1次90分钟董事会,因为“AI的时间钟”已经跑在季度治理之前。目的在于吸收新证据、更新先验判断,并在证据仍然有效时调整方向。
冬歇结束后,Claude 4.5和Codex 5.2恰逢Bavor认为编码Agent能力出现根本性跃迁。这改变了Sierra的软件开发方法和核心产品路径,正是每6周节奏希望及时捕捉的不连续变化。
Bavor和Bret不用演示文稿,而是撰写6至10页的备忘录:“写作就是把思考写在纸上”,写下来会让薄弱推理更难隐藏。在最初8个季度里,即便实际表现超过预测,每封典型信件仍会列出约7个不满意之处,让董事有时间挑战真正的问题,而不是被管理层单向汇报和引导。
Sierra早期承认过1个问题:2024年初看到了需求,却没能足够快地招人,导致本可以服务的客户无人服务。融资也遵循同样的里程碑纪律:融资金额足以到达下1个明确更高的里程碑,对稀释保持敏感但不追求极致,并接受低于Sierra本可获得的价格;每1轮融资最终都低于可获得的价格成交。
8. 工艺和强度是操作系统,不是口号
工艺意味着,1家伟大公司的总和,是“成千上万”件分别做到优秀的事情,包括人、流程、文化和产品。它也体现了Sierra会如何对待客户最宝贵的资产:在公司经历第1个黑色星期五/网络星期一期间,1名首席工程师、1名运营负责人和2位创始人中的1位,亲自实时监控每1段Agent对话。
强度反映的是竞争现实:通过复杂Agent与客户互动看起来不可避免,但没有任何公司天然有资格赢。Sierra用“聪明、友善、强悍”这一困难的维恩图招聘;Bavor和Bret则努力保持领先节奏,不断追问为什么某件事不能明天发生,而要等到下周。
创始人模式是有选择的“直接施加力量”,而不是不加区分地深入17层组织。日本就是例子:当他们追问今年怎样才能做成1项重大业务时,答案意味着需要在当地配置10人,进而促成收购Opera Technologies,并围绕日本式服务期待——例如omotenashi——展开建设。
家庭是这套体系的制衡力量,也是Sierra明确写入价值观的内容之一。Bavor反对创业文化中“有时带有表演成分的苦干”:人们可以打开加力燃烧器,同时保护孩子、父母、朋友,或任何工作之外真正重要的事。他对时间表的警告同样适用——“工作就像气体”,会膨胀到它所获得的全部空间。
9. AI熟练度已成为初级人才的不公平优势
Bavor认为,年轻毕业生获得的是1个不寻常的机会,而不只是被替代的风险。4年几乎不受限制的时间和可支配精力,可以让他们掌握1,000家公司都想要的AI工具;Sierra最有效率的员工中,有些只有22或23岁,“彻底AI化”,对这些工具的熟悉程度超过资深同事。
Sierra围绕这一现实重构了工程面试。候选人选择1个应用,获得150美元购买自己偏好的编码Agent,带上自己的笔记本电脑和工具完成构建,并解释自己的过程。架构、系统设计、产品思维、价值观,以及“聪明、友善、强悍”仍然重要;Bavor希望在2个月内让每1场面试都具备强烈的AI原生要素。
Bavor认为,线下工作能够支持学徒制和导师制,而这对学习很重要。他引用Richard Hamming的建议:“找到优秀的人,与他们一起工作,并向他们学习。”知识和努力会像利息一样复利增长,因此,早期接触优秀实践者可能改变1个人的职业轨迹。
网络安全的重要性正不断上升,因为攻击能力已经“连续提升了5个档位”。但Bavor仍未对产品方向下定论:防御端的赢家可能是专业供应商,也可能是模型和编码Agent本身。
10. 联合创始人的互补性把分歧转化为判断力
Bavor和Bret最近曾就1个进展缓慢的领域发生分歧:问题需要更强的流程,还是需要不同的领导方式。他们分别审视两种观点后得出结论:两者都需要一些。他们共同遵循的标准,不是谁拥有某个论点,而是那句追求真相的话:“这是正确的。”
他们没有把公司一分为二,而是划分主责和辅责。Bret主责销售和软件工程,在系统设计和架构上拥有Bavor高度信任的直觉;Bavor主责运营、财务、法律和公司经营。涉及重大影响的合同需要两人共同持有“核钥匙”,在错误代价最高的地方保留重叠决策。
Bavor从Sundar身上学到的是“动态范围”:既能从5年战略切换到像素、投影、声音和纹理,又不失去人性。他从Google得到的更广泛经验是:持久的使命、聪明的人、追求真相的文化,以及让合适的人照料众多实验,可以让1个组织觉得自己几乎有能力解决任何问题。