用2,048块 Blackwell GPU、2,000万美元训练400B模型｜GTC研究者对谈
摘要
- Arcee AI 转向预训练，是因为20B以下客户项目的效果上限被 Llama、Mistral 或 Qwen 的底座模型锁死，而许多客户的法务和合规团队后来也不再愿意采用基于中国预训练底座的方案。 掌握全栈后，定制化可以与可追溯的训练数据连接起来，尤其是「预训练的最后10%」（“that last 10% of pre-training”）。Lucas Atkins 表示，Arcee 当前的目标是成为开发者——主要是初创公司——和企业眼中经济上最可行的公司，而不是实现 AGI，不过他也说“永远不要说永远不可能”。
- 开放权重首先是主权和单位经济性工具：如果前沿实验室的模型变得更贵、更慢、token消耗更高，却没有改善某个狭窄工作流，开发者就能用微调后的4B–8B模型守住利润率。 Lucas 以发票处理为例：先围绕工具调用、速度和成本优化，再自行添加新能力——“控制权是第一位的”是最重要的理由。
- Lucas 将透明度视为风险基础设施，认为 AI 可能重演移动互联网和社交媒体繁荣期巨大上行空间与有害尾部效应并存的局面。 如果能够监控、分析和缓解根本性风险的人只有 OpenAI 和 Anthropic 的200名安全研究员，他宁愿“让风险高度透明”，并让缓解措施易于实施、易于理解，且通过开放模型得到适当传播。
- Arcee 感知到的人才劣势可能小于算力劣势，因为研究人员看重可公开呈现的成果和更广泛的全栈参与。 Lucas 说“人才其实比算力更容易获得”，即便拥有“2万亿美元”，也会把研究团队控制在30人以内，依靠立场鲜明、善意的辩论和全栈参与形成组织杠杆。算力更难获得，因为它最终取决于融资和收入；随着算力需求和训练范式变化，模块化将变得重要。
- Arcee 无意与前沿实验室进行逐美元匹敌，而是瞄准具备经济可行性的任务中80%——这类任务奖励可靠性、速度和低成本，而非极致智能。 按 Lucas 的示例拆分，下一代前沿模型在 FrontierMath 上可能提升30%，但前端生成能力只提升5.5%：“我们的目标不是追赶，而是以更低成本胜出。”
- Trinity 将执行分散在 Arcee、DatologyAI 和 Prime Intellect 之间，而 B300 的可获得性让团队可以把预训练目标设为1个月而非3个月。 代价是大规模工具链和基准测试尚不成熟，尤其缺少稀疏内核，因此围绕类似 DeepSeek 的超稀疏模型形成的生态——其中许多模型在 Hopper 上训练——成了吞吐量对比的“黄金样本”。
精读
1. Arcee 转向预训练，是因为后训练撞上了别人的天花板
Lucas 将这次转向追溯到2025年初，并称其在7月落地。对20B以下的 Llama、Mistral 和 Qwen 做后训练时，效果已经触及底座模型设定的“天花板”；后来，许多客户的法务和合规团队不再愿意采用基于中国预训练底座的方案。
Lucas 目前并不把 Arcee 视为 AGI 实验室。他表示，目标是成为开发者——主要是初创公司——和企业眼中经济上最可行的公司。
他认为，西方缺少一家收入成败真正取决于基础模型质量的开放权重公司。全栈掌控也能把各训练阶段的数据决策串起来，尤其是「预训练的最后10%」（“that last 10% of pre-training”）；Lucas 认为，这一阶段对后训练的影响非同寻常。
2. 模型主权可直接转化为产品经济性
Lucas 刻意选择了一个平凡的例子：一款把收据解析成 Excel 的发票应用。它不应依赖一个前沿实验室模型——后者可能在扩展前沿数学能力的同时变得更贵、更慢、更耗 token，却不提升工具调用、速度或成本表现；一套微调后的4B–8B模型则能让构建者守住利润率并直接添加新技能。
他的结论非常明确：“控制权是第一位的。”前沿实验室正处于“盈利能力军备竞赛”中，因此它们做出的取舍或选择不会总是优先照顾开发者、初创公司或企业。
3. 开放权重让 AI 风险的可审视范围超出前沿实验室
Lucas 将 AI 的潜在影响与移动互联网、手机和社交媒体的繁荣相提并论：前所未有的连接能力与注意力时长下降、抑郁和焦虑同时出现。AI 也可能带来类似的负面副作用，因此他更希望风险透明，缓解措施易于实施、易于理解，并得到适当传播。
采访者提到 AlexNet 和 PyTorch；Lucas 将这一论点延伸到通过开放成果不断累积放大的突破。如果 OpenAI、Anthropic 和 Google 各自发展持续学习路径，Lucas 认为其传播到更广泛世界的速度会慢于开放式突破；但他也承认，研究开放性已经“回不到过去”了（“There’s no going back”）。
4. 一支不到30人的研究团队，也是人才吸引力的一部分
在资源问题上，Lucas 自己都感到意外：“人才其实比算力更容易获得。”研究人员希望构建这样的模型：模型权重、工程实现和基础设施都能被公众真正审视。
即使 Arcee 获得“2万亿美元”，他仍会把研究团队控制在30人以内。突破应来自“极有主见、能力出众”的人进行善意辩论，而不是研究人员各自守着孤立的细分领域。
在 Arcee，研究人员可以覆盖数据、预训练、架构、中期训练和 SFT。他举了一个假设例子：5人负责预训练，3人可以转去解决中期训练瓶颈，无需经历大规模的入职培训；对全流程的参与本身就是招聘卖点。
算力仍然更难获得，因为它归根到底取决于融资、资金和收入。Lucas 认为，接下来几年完成融资并推进执行是可行的，但 Arcee 需要一种松耦合、模块化的结构，能够跟随算力需求和新训练范式变化，而不至于支出达到收入的10倍。
5. Trinity 的设计目标是压过前沿，而不是追赶前沿
采访者问 Arcee 如何与西方实验室的算力竞争；Lucas 则重新定义了竞争。在他的示例中，下一代前沿模型在 FrontierMath 上可能提升30%，但在前端生成、进而为类似 PowerPoint 的应用生成幻灯片的能力上只提升5.5%；Arcee 瞄准的是前沿以下“具备经济可行性的任务”中80%：“我们的目标不是追赶，而是以更低成本胜出。”
Trinity 这个名字最初只是因为听起来酷，后来才形成具体分工：Arcee、负责预训练数据筛选的 DatologyAI，以及负责基础设施和 GPU 管理的 Prime Intellect；项目还配套3个第一代模型。
B300 胜在可获得性和速度，原因是 Arcee 希望预训练用“1个月而不是3个月”完成（“a month, not three”）。大规模基准测试、配套工具，尤其是稀疏内核都很稀缺，因此围绕类似 DeepSeek 的超稀疏模型形成的生态——其中许多模型在 Hopper 上训练——成了预期吞吐量的“黄金样本”。