摘要

Surge称，去年营收已超过10亿美元，2020年成立、运营5年后员工略超100人，客户包括Google、OpenAI和Anthropic。 Chen将此归因于公司从第一天起就实现盈利：资本不是Surge的瓶颈，因此他没有为了融资带来的社会认同而放弃控制权，并主张创始人应先“出去把你梦想的一切都做出来”，再考虑融资。
Surge所称的护城河不是劳动力供给，而是一套由技术驱动的数据质量体系，其上限会随生成任务的复杂度不断抬升。 Hemingway和小学生都能画出基本相同的车辆边界框，但诗歌、证明、代码和游戏的质量差异可能极大。没有能测量这些差异的系统，供应商只是在“规模化地生产平庸”。
Surge的业务覆盖SFT和偏好标注、验证器、失败模式分析，以及模拟长周期工作的丰富RL环境。 Chen设计的销售员世界横跨Salesforce、Gmail、Slack、表格、文档、演示文稿、日历，甚至包括一场会改变赴会交通安排的车祸。他认为有用的真实感“没有上限”，也怀疑单一终局奖励能够涵盖一条复杂轨迹。
Chen明确表示，即使模型变得超越人类，人的反馈“永远不会耗尽”，因为模型仍需要外部目标，而合成数据的规模化生产经常无法通过质量检验。 客户可能花6个月生成1000万至2000万条合成数据，最后却发现“其中99%根本没用”；在他看来，1000条高度精选的人类样本可以胜过1000万条合成样本。
LMArena可能奖励标题党式的回答，而非真正的能力，诱使模型把答案写得更长、格式更复杂、emoji更多。 5至10秒的评测者往往不会核查事实或指令遵循，Chen称研究人员已经接受这两方面的退步，以换取排行榜名次。他给出的替代方案成本更高，却更直接：由人类仔细评估，核查事实、验证指令，并判断表达品味。
Chen预计前沿模型市场将长期多元化，而不是收敛为同质化商品，并押注xAI是最有可能追上OpenAI、Anthropic和DeepMind的黑马。 Anthropic聚焦编程和企业市场，OpenAI偏向消费者，Grok在行为边界上另有一套；最终AGI“可能涵盖这一切”，但企业一次能长期维持的优先事项终究有限。
Meta与Scale的交易提升了Surge在Scale老客户中的曝光度，而公开模型评测将是其下一步战略扩张方向。 Chen称，许多原本不了解这家低调公司的用户因此认识了Surge；随着前沿实验室减少公开发布，Surge希望揭示基准驱动的失败模式。更大的判断是：模型供应商越发围绕容易被操纵的公开信号优化，独立质量测量的价值就越高。

精读

1. 资本不是Surge的约束，创业自举保住了控制权

Chen回溯Surge的起点：他在Google、Facebook和Twitter做机器学习时反复遇到数据瓶颈——团队连一个简单分类器所需的数据都很难找到，更不用说他们设想中的“下一代AI系统”。Surge成立于2020年，迎来成立5周年时员工略超100人；Chen称，公司上一年度营收已超过10亿美元。Sarah补充说，客户包括Google、OpenAI和Anthropic。
自举创业最初是出于现实考虑：Surge“从第一天起就盈利”，不需要资金，而融资意味着交出控制权。Chen更尖锐的批评指向创业文化——太多创始人在真正找到问题之前，就先围绕1000万美元融资和TechCrunch头条进行优化。他的第一性原理是：先做出产品，只有在真正出现财务约束时再融资。
Elad的反驳值得保留：硅谷可能融资过于积极，但其他地区的创始人往往没有充分利用本可帮助公司扩张的风险资本；Sarah则补充，缺乏知名度的创始人可能需要外部背书来招募人才。Chen区分了需要基本生活资金的创始人与已有储蓄的人，同时挑战了对员工规模的惯性假设：数据科学家通常只做2%-5%的微调，而早期创业需要10倍至100倍的变化幅度；产品应由创始人负责，而不是交给早期产品经理。

2. 生成式数据让质量从勾选项变成产品本身

最简单的说法是，“我们的产品就是数据”：针对代码模型，Surge提供SFT解法和单元测试、代码或解释之间的偏好判断，以及验证器——例如检查网页应用是否包含登录按钮，或是否触发预期操作。训练数据之外还配套评测，通过模型对比洞察、损失模式和失败模式，把结果反馈给实验室。
Chen将Surge与他称为“人力外包作坊”的竞争对手区分开来：后者交付的是“活人”，而不是经过测量的产出。他用一个类比说明质量上限：Hemingway和小学生都能围绕一辆车画出基本相同的边界框，但Hemingway能写出好得多的诗；生成式AI在质量上“几乎没有上限”。
当被问到Surge如何评估足够多的评测者时，Chen把这套系统比作Google Search或YouTube对数百万网页和视频进行排序。Surge收集标注员、其工作内容和活动行为等信号，再将这些信号输入内部构建的机器学习系统，用于衡量质量。
那首只有8行、写月亮的诗，揭示了学历和检查清单为什么不够：是否为诗、是否有8行、是否出现“月亮”这几个条件都可以满足，但作品依然可能只有高中生水平。英语文学博士并不会自动成为诗人，正如一些MIT计算机科学毕业生也可能写不好代码。质量必须涵盖俳句、内韵、情绪，以及证明勾股定理的“1000种方式”；否则供应商只是在“规模化地生产平庸”。

3. RL世界越来越真实，数据必须由人和模型共同生产

模型基线不断提升，并不会让人类退出，而是通过“可扩展监督”改变人机协作界面。Chen将其定义为：人和模型共同生产出单独一方都无法达到的数据。过去一篇SFT故事可能从白纸开始，如今可以先由模型生成通用骨架，再由人进行大量创造性编辑，减少低价值的“杂质工作”。
RL环境让这种协作明显更难。Chen设计的销售员模拟系统横跨Salesforce销售线索、Gmail、Slack对话、Excel跟踪表、Google Docs、PowerPoint和日历，还加入不断变化的时间与外部事件——例如发生车祸后，去客户会议的交通安排应当改变。数千条消息和数百封邮件必须保持真实、有趣且彼此一致。
对于真实感，Chen的回答是绝对的：“没有上限。”更多样、更丰富、更长时间跨度的环境，能为模型提供更多学习材料；但如果合成出的环境缺乏连贯事件、创造力，或无法覆盖完整工作所需的工具，那么仅仅生成一个环境远远不够。
他对未来5年至10年的需求判断是“全都要”，而不是RL取代其他数据。环境可以产生极其漫长、丰富的轨迹，但单一终局奖励可能无法涵盖实现复杂目标所涉及的全部工作。Chen预计，专家推理、环境、验证器和多重奖励仍将彼此互补。

4. 合成数据规模和公开排行榜可能把优化带向错误目标

Chen明确表示，人的反馈“永远不会耗尽”。客户有时会在花6个月生成1000万至2000万条合成数据后找上门，最后得出“其中99%根本没用”的结论，再回头寻找那一小部分可用数据。他故意给出一个极端对比：1000条高度精选的人类样本，可能比1000万条合成数据点更有价值。
问题不只是需要更好的样本，而是需要一个外部目标。Chen提到一个顶尖前沿模型：在他大约10%的使用场景中，模型会在回答Donald Trump或Barack Obama等无关主题时，随机插入印地语或俄语字符。模型自身不够一致，无法识别这个错误，因此仍然必须由人明确说出：“这是错的。”
他对LMArena的批评是，评测者只花5至10秒，选择看起来“更好”的回答，奖励格式、加粗、emoji和篇幅，却不核查事实或指令遵循。围绕这种信号训练，就相当于模型版的标题党；Chen称，提高排名最容易的办法就是把回答写得更长。
替代方案是缓慢但合格的人类评测：核查答案事实，验证每一条指令，再由有品味的人判断文字质量。Sarah用跨领域类比进一步说明了风险：蛋白质进化可能围绕狭窄的催化信号，筛选出奇怪且未被预期的活动；模型训练也会围绕设计者选择的反馈，驶向一个由局部信号塑造的局部最优。

5. 多元模型市场提升独立评测的价值

对于Meta与Scale的交易，Chen称其对Surge有利，并表示Surge本来就是市场上最大的玩家：许多此前没听说过这家低调公司的老客户团队，因此开始了解它。他更大的担忧是品类受损——低质量供应商会让实验室在人的数据上浪费时间，迫使它们转向速度更慢、目标更差的方法，最终拖慢模型进展。
当被问到哪家黑马可能追上OpenAI、Anthropic和DeepMind时，Chen选择了xAI，因为它“非常饥渴，而且以使命为导向”。他预计前沿模型供应商会越来越多，而不是收敛为同质化商品：Anthropic在编程和企业市场表现出色，OpenAI通过ChatGPT保持消费者导向，Grok则在愿意说什么、构建什么方面拥有不同边界。
背后的机制是组织重点和模型个性：企业一次只能优先考虑有限数量的原则，因此会形成不同的能力与行为。Chen已经会根据任务在不同模型之间切换，并预计这种习惯会进一步渗透个人和职业生活；与此同时，他也承认最终AGI“可能涵盖这一切”。
Surge下一步的战略扩张是公共研究和外部模型评测，部分原因在于前沿实验室公开发布的内容越来越少。Chen称，研究人员曾明确告诉他，如果LMArena排名上升，他们的副总裁可以接受事实性和指令遵循变差；因此，花6个月生成更长、更花哨的答案，最终可能等于“零进展”。与此同时，IFEval奖励的是一些人为设计的任务，例如要求每次提到Abraham Lincoln时都把5个字母改成大写，而不是检验真实世界的实用性。

（预览）后AI时代的互联网现实、未来创作者如何成功、创业公司邮件、F1版权与另类摇滚 Emad Mostaque：拯救人类免受AI威胁的计划 | EP #184