为 AGI 提供底层数据的创业公司
摘要
2020 年创立、未获风险投资支持的 Surge 在 2024 年营收突破 10 亿美元，员工仅略超 100 人——意味着人均营收约 1000 万美元。 Chen 将这种资本效率归因于坚持使命导向、避免打造组织“帝国”，以及向真正重视数据质量的研究人员销售。对于 Surge 认为与 AGI 无关的项目，公司甚至会放弃其收入。
Surge 所称的差异化优势是质量控制技术，而不是廉价劳动力。 Chen 将竞争对手形容为依赖电子表格的“人肉外包工厂”，同时强调用于衡量工人与任务质量、追踪质量变化、开展实验和过滤低质量产出的系统。「不能只是把一群人扔进去」（“You can’t just throw warm bodies at it.”）。
生成式 AI 数据让旧有的共识式标注模型变得不够用，因为多数偏好可能筛出通用、最低公分母式的产出。 一首 8 行月亮诗可以满足所有检查项，却依然糟糕；英语文学博士也可能缺乏所需的创作能力。Surge 转而试图保留多元洞察——写诗或证明勾股定理都可以有“一千种方式”。
需求已从搜索评测和内容审核，转向多模态、多语言、专家级 LLM 工作，足以让贡献者连续投入数天甚至数周。 Surge 目前覆盖超过 50 种语言，包括用阿根廷西班牙语编程，以及在玻利维亚提供法律或金融专业知识。Chen 预计前沿将从研究生 STEM 能力进一步迈向真正的科学协作。
Chen 认为，基准测试激励可能带来更高的分数，却造出更差的模型。 在 LMSYS/Chatbot Arena 排行榜上，普通评测者可能奖励更长的答案、格式和 emoji，即使答案在幻觉或无视指令；据称，一些研究人员只有在模型获得 10 个排行榜积分后才有资格晋升。Chen 的判断异常绝对：这个排行榜“至少让行业倒退了 1 年”。
Surge 倾向于在有限的 SFT 启动之后采用 RLHF，同时认为合成数据有用，但一旦压过人类信号就会带来风险。 一项评测中，使用 1000 万至 2000 万道合成数学题训练，改善了狭窄的学术领域，却让模型在其他领域变差。Chen 说，一些实验室后来丢弃了规模相当的数据，因为发现“哪怕只有 1000 条真正高质量的人类数据”也更有用。
Chen 看不到模型开发的瓶颈墙：下一轮扩展将来自更丰富的 RL 环境、更长周期的智能体、个性化、创造力，以及持续投入的人类数据。 一个例子是模拟的 AI 初创公司，里面包含 Gmail、Slack、Jira、GitHub、代码库，以及突发的 AWS 或 Slack 故障。按照当前激励机制，他猜测闭源模型将继续胜出；不同实验室的数据支出可能约占算力支出的 1% 至 10%，而这部分占比应该更高。
精读
1. Surge 从所谓简单的标注失灵中诞生
Chen 在 Twitter 遇到的创业问题看似简单：一个情感分类器只需要 10,000 条标注推文，但 2 名通过 Craigslist 招来、朝九晚五工作的人花了 1 个月才启动，又花了 1 个月交回“彻底的垃圾”。他们无法识别俚语和 hashtag，Chen 于是花了 1 周亲自标注数据，因为这样更快、质量也更高。
更深层的失败来自目标设计。团队以点击和转发为目标优化 Twitter 信息流，结果形成了由标题党、色情擦边内容、比基尼图片和“10 种最可怕皮肤病”之类榜单文章构成的负反馈循环。团队希望基于更丰富的产品原则获得人工评分，但一个连情感都无法可靠处理的系统，也无法提供这种更高阶的信号。
Surge 于 2020 年创立，刻意聚焦语言和行为，而不是绘制汽车边界框这类商品化任务。早期客户包括 Airbnb、Twitter、搜索和算法创业公司，以及那些已经“迫切需要”更高质量系统、能够承担更复杂工作的联系人。
Biewald 强调了商业结果：Surge 在 2024 年营收突破 10 亿美元，更早达到 10 亿美元 ARR，且没有接受外部融资。Chen 说，他们希望客户因为相信质量而购买，“而不是因为在某篇科技文章里看到了我们”。
2. 运营杠杆来自软件和研究文化
Chen 不认同质量会随着部署 10,000 人或 100,000 人而自动出现。他将一些竞争对手形容为手工化的“人肉外包工厂”：工程师通过电子表格创建或审核数据，却无法量化某名工人在特定任务上的质量。
Chen 说，真正严肃的质量系统需要复杂算法来识别高质量数据、剔除最差产出；它还应量化工人在特定任务上的能力、追踪质量随时间的变化，并支持仪表盘、A/B 测试和改进算法。难点还会叠加，因为 LLM 必须覆盖诗歌、物理、编程，实际上还包括“世界上的每一项任务”。
内部团队略超 100 人，被定位为一家数据研究机构。Chen 避免采用简历导向的招聘，也避免招来想要打造组织帝国的管理者；他的警示循环是：招聘带来会议，会议降低生产率，而生产率下降又被用来证明还需要继续招聘。
销售是 Chen 个人最大的跨越。他将 Surge 定义为一家研究公司，目标是生成能够帮助 AGI 的数据，而不只是创造收入；由于没有外部董事会和 VC 压力，公司可以自由拒绝与 AGI 无关的工作。
3. 生成式数据质量需要品味、多样性和第一性原理
Chen 最经典的测试是一首关于月亮的 8 行诗。检查它是否是一首诗、是否有 8 行、是否包含“月亮”，只能证明它遵守了要求；招聘英语文学博士也解决不了问题，因为学历不会让一个人成为 Hemingway、Emily Dickinson 或诺贝尔奖级别的诗人。
诗歌可以通过水面月光、内韵、格律或情感成立；数学同样有“1000 种证明勾股定理的方法”。优化评审者之间的一致性，对区分猫和狗很有用，但当目标是创造力和洞察力时，最终只会得到“最低公分母”。
Biewald 的反驳值得保留：即使是边界框也隐藏着判断——被遮挡的汽车、镜面反射，或广告牌上的汽车图像，都会让规格变得复杂。Surge 的回应是从研究人员的目标和预期用途出发进行推断；当它认为最佳数据与客户指令不一致时，就展开一场“有火药味的辩论”。
4. 工作正变得多模态、多语言且难度陡增
Surge 早期的任务主要是搜索评测和内容审核；如今的工作“几乎纯粹是 LLM 工作”。发展方向始终是更高的复杂度、成熟度和专业性，而不是随着自动化推进，人类数据需求就会消失。
多模态任务如今会同时结合文本、图像、音频和视频。Chen 举的例子是：用手机拍摄某个东西，让模型编写一个模拟它的程序，并要求模型同时理解这些模态。
Surge 覆盖超过 50 种语言，甚至处理用阿根廷西班牙语编程、在玻利维亚提供法律或金融专业知识等高度具体的交叉场景。在高端任务中，贡献者会出题并解答奥林匹克竞赛级别的问题，有时一道任务要花数天或数周，而不是用 5 秒钟给图片打标签。
5. 排行榜可能奖励表演，却损害真实能力
被问到为什么模型能取得 IMO 金牌选手般的分数，却答不出朋友的脑筋急转弯时，Chen 说前沿系统已经被“基准测试劫持”。学术、合成、封闭式测试鼓励狭窄优化，而真实数学工作往往是开放式探索，没有一个容易验证的单一答案。
Chen 认为人工评测是黄金标准，但他严厉批评 LMSYS/Chatbot Arena 排行榜。任何人都可以提交提示词、查看 2 个回答并投票；他说，许多用户——包括初高中生——只看几秒，就可能把票投给看起来更厉害的回答。
可被利用的配方是更长的篇幅、粗体格式和 emoji。Chen 指出，他所谓的为 LMSYS 优化的 Llama 4 版本正符合这些模式；研究人员据称被告知，只有让模型在排行榜上增加 10 分才能获得晋升，即使被偏好的回答存在幻觉，或更差地遵循指令。
Biewald 注意到，原本不同的实验室在 2025 年前后出现了共同的声音：过度积极、像“童子军”一样循规蹈矩、急于讨好。Chen 认为，包括破折号在内的一些特征来自预训练，同时也指出了模型特有的痕迹，例如“absolutely”、形容词三连、Markdown 习惯和 emoji 频率；他预计不同模型的风格最终会更加明显地分化。
6. RLHF 携带比示范更丰富的信号，但合成规模可能适得其反
在监督微调（SFT）中，人类同时提供提示词和理想答案，例如要求写一首关于奶酪的十四行诗，然后亲自写出答案。在 RLHF 中，模型生成多个竞争答案，由评测者选出更好的一个，从而学习对情感、工艺、格式以及糟糕之处的偏好。
Surge 过去的判断是，RLHF 数据的效果要强得多，但 Chen 保留了限定：部分 SFT 仍然重要，可以高效地把模型启动到能够进行 RLHF 的阶段。他说，Llama 2 论文描述的实验最终改变了那些原本预计 SFT 会占主导地位的研究人员的看法。
合成数据在特定场景下有用，但 Chen 认为，无差别使用时，它会让模型“擅长合成问题”，而不是真实问题。一名研究人员的人工评测在使用 1000 万至 2000 万道合成数学题后大幅下滑，模型能力被收窄；据称，其他公司也花了数月丢弃类似数据，因为发现哪怕 1000 条高质量人类样本都可能更有用。
7. 未来的人类数据将从博士练习走向协作与品味
Chen 不认为当前的数据类别会彻底消失。它们的占比可能下降，就像人随着年龄增长而减少算术训练，但如果删除这些数据，前沿模型在被激进地调向新能力时，可能出现反常的能力回退。
研究生级别的 STEM 能力只是中间阶段。要产生新发现，模型需要与超越普通博士水平的人合作；一个例子是 Stanford 教授与 AI 协作开展前沿研究，提出假设、测试实验，并作为真正的科学伙伴提供正确的信号。
时间跨度将从几分钟或几小时延长至数天和数周。创作也必须摆脱模型“非常香草、非常通用的维度”：今天的诗歌和短篇小说可以拥有无可挑剔的文笔，却依然缺乏创造力，可能是因为更具经济价值的能力获得了优先训练。
个性化同样几乎仍是一片空白。知道用户住在 Ohio 而不是 New York 很容易；理解决定一个人喜欢哪些故事或巴黎餐厅的潜在偏好，则要难得多。Biewald 5 岁的孩子说明了这种冲突：一篇同时针对父母和孩子优化、再对所有人取平均的故事，可能谁都无法满足。
8. 真实 RL 世界是下一块训练场，不是模型停滞的证据
推理模型正推动 Surge 从零构建 RL 环境：带有工具和数据集的“电子游戏式宇宙”。一个模拟的 AI 初创公司可能包含 Gmail 和 Slack 消息、Jira 工单、GitHub pull request 以及代码库，然后让 Slack 或 AWS 突然宕机，迫使智能体规划、恢复、反思并寻找另一条路径。
Chen 预计模型会越来越多地使用代码，因为代码可以提供有用的可验证性。他因此对进展持乐观态度：新的 RL 方法、环境和尚未收集的数据让他确信，行业“绝对没有”陷入停滞，而且新领域很快可能出现“巨大进展”。
他对 ARC 基准的坦诚回答是否定的：在看到它之前，他本来会认为模型“绝对”能解决那些看似简单却颇具迷惑性的视觉模式。Surge 正在生成 ARC 风格的问题，但 Chen 承认：“我并不真正理解模型为什么解不出来。”
在行业结构上，按照当前激励机制，Chen 预计闭源模型会继续胜出，因为有价值且昂贵的模型会促使所有者捕获上行收益。他提到，据他描述，Meta 正在考虑将 Llama 闭源；真正持久的开源需要另一套激励系统。他估计，不同实验室的数据支出可能约占算力支出的 1% 至 10%，并认为这一比例应该更高。擅长使用人类数据的研究人员推进更快，而缺乏这类能力的人可能只能依靠变通方案，拖慢进度。