《更好的数据就是你所需要的一切》—Ari Morcos，Datology
摘要
Datology 的核心论点是，数据质量是算力乘数：「模型吃什么，就长什么」。 Morcos 对数据策展的定义很宽，包括过滤、再平衡、排序、批处理、来源混合和合成生成；他认为，这些手段能让模型训练更快、能力更高，并减少参数量。对投资者而言，价值不只是降低预训练支出，更在于提升单位美元的性能，并从结构上降低推理成本。
Morcos 转向数据，源于一组推翻了自己长达6年架构研究的证据。 在图像自监督学习中，ConViT 的软卷积偏置在约500,000个数据点以下有效；随着数据增长，优势消失，超过约1,000,000个数据点后甚至略有负面影响；多个项目都得出了同样的「苦涩教训」。他的结论很绝对：规模足够大时，「真正重要的只有从数据分布中学到的后验」。
Datology 声称取得了足以挑战朴素幂律扩展经济学的增益。 相比 DCLM，Morcos 称其策展数据达到同等性能的速度快约12倍，使用的 token 不到10%；在算力相同的情况下，基准测试绝对分数平均提升约4–5个百分点，而参数量不到一半的模型也能超过更大的基线模型。他认为，在已经接近10倍的增益之外，至少还存在「另一个100倍」的提升空间。
当模型是在重新组织知识，而不是凭空创造知识时，合成数据的效果最好。 Morcos 怀疑全新生成——「伪装成别的形式的蒸馏」——在没有拒绝采样或其他信息来源的情况下，能够超过教师模型；反复生成还可能让分布从尾部向众数坍缩。改写则不同：相对较弱的模型可以让源信息变得更容易学习，但 Morcos 认为，关键约束是多样性，因为「你不只需要教科书」。
课程学习正在回归，因为模型已经从反复吃完稀缺数据集，转向对海量数据集拟合不足。 当年 ImageNet 只需跑160个 epoch，排序带来的价值有限；如今，数据顺序可能决定一次训练要不要多花10倍成本。Morcos 希望把预训练、中期训练和后训练视为一套完整课程，包括为更陡峭的 RL 和测试时算力曲线优化预训练数据，或者让越狱曲线更平坦。
企业真正想要的可能是「训练更小」，而不只是「训练更便宜」。 Morcos 举例称，一家公司每年在推理上花费5000万美元，如果部署的模型是必要规模的2倍，第一年就浪费2500万美元；而训练一个专用替代模型可能只需2000万–3000万美元。他预计，3年后人们使用的大多数模型都将是个位数十亿参数或更小，尤其是在测试时算力会放大每一步推理成本的情况下。
Datology 的护城河取决于：把部分科学 know-how 保持为专有，同时证明数据策展可以叠加。 在 RC 项目中，主持人称23万亿个 token 被压缩至6.6万亿个；Morcos 则称约25万亿个源 token 最终产出约7万亿个；在训练 token 还不到1万亿时，45亿参数模型已经稳定超过 Gemma。更大的判断是，即使是 DCLM、Nemotron 和 FineWeb，也远未被充分挖掘：「我们只是刚刚触及表面。」
精读
1. Datology 把从存储到训练的整条链路视为优化问题
Morcos 的使命覆盖从存储数据到模型数据加载器之间的每一个决策：过滤什么、合成什么、如何排序、如何批处理、上采样、下采样以及混合来源。每个选择都可能实质性改变最终模型。
他的标志性表述刻意保持简单：「模型吃什么，就长什么。」高质量输入产出高质量模型，低质量输入产出低质量模型；但要在数万亿个 token 或数十亿张图像中识别并拼装有用输入，本身就是前沿研究问题。
目标有3个维度：训练速度大幅提升、训练出更高性能，以及训练出能够达到或超过大模型表现的小模型。自动化不可或缺，因为逐个依靠专家人工审查，无法在前沿规模上运行。
2. 经验科学背景让 Morcos 远离架构层面的巧思
Morcos 起步于神经科学，试图教老鼠数数，并分析它们完成任务时的数千个神经元。机器学习最初只是他理解这些神经数据集的工具，而不是他的原始研究领域。
他在2011年开始攻读博士时，AlexNet 和 DQN 正好伴随这一转向出现。他以经验科学家的方式进入深度学习，希望论文分成两半：先解释某种表征为何好或坏，再利用这种理解改进系统。
但后半部分一再失败。某种与优秀表征相关的属性看似可以直接利用，优化后却经常发现它只是「相关因素」，而非因果变量；大约30篇解释性论文中，真正成功把解释转化为改进的只有3、4篇。
这种挫败带来了一条方法论教训：深度学习的规则可以被设计，但模型在海量数据上训练后涌现的属性往往出人意料。「把意大利面扔到墙上」让人不满意，但干净的机制性理解也很少能提供可靠干预。
3. ConViT 让 Morcos 亲身经历了「苦涩教训」
ConViT 的初始化方式与卷积神经网络完全一致：使用3×3卷积核，9个注意力头可以对应9个位置。不同于 CNN 的硬卷积偏置，Transformer 后续可以撤销被施加的权重绑定。
在小数据图像自监督学习中，软偏置带来了显著帮助——大致适用于500,000个样本以下；在火山预测等科学领域、约1,500个数据点的场景中也找到了用途。随着规模扩大，其优势逐渐消失，超过约1,000,000个样本后甚至略有伤害。
2020年前后发表的多篇论文让 Morcos 面对同一结论：数据足够多之后，内置归纳偏置不再占主导，结果由从数据分布中学到的内容决定。这很痛苦，因为他此前已经花了约6年研究这些偏置。
面对这条「苦涩教训」，他认为理性选择有两个：让「GPU 嗡嗡转」，或者研究数据。作为非硬件工程师，他选择了自己所称的「相对于影响而言，研究投入最不足的领域——而且我认为差距甚至不接近」。
4. 自监督学习把数据从稀缺资产变成失控的富集资源
过去的研究激励把数据集视为固定变量：给定 ImageNet，最大化验证集或测试集表现。Kaggle 强化了同一框架；监督数据集至少还有质量底线，因为每个样本都经过人工检查。
Morcos 认为，Transformer 只是众多可能达到相近性能的架构之一；真正不可替代的进步是自监督学习。通过从样本的一部分预测另一部分，模型摆脱外部标签，训练规模从约1,000,000个 ImageNet 样本扩展到数万亿个 token，增加了「一百万倍」。
这让模型从反复吃完稀缺数据——比如在 ImageNet 上训练160个 epoch——转向对海量抓取语料拟合不足。新阶段带来了冗余、低信息量样本以及没有质量底线保证的数据，使数据选择从偶发的管线环节变成核心经济问题。
他反对 Kaplan 和 Chinchilla 式经典扩展分析，是因为这些分析假设数据是 IID。「所有数据并非生而平等」；把每个 token 视为等价，忽略了计算领域最古老的警告：「垃圾进，垃圾出」。
5. 人工判断无法衡量样本价值，因为价值是关系性的
Morcos 引用 DCLM 最尖锐的发现：大约30名研究生花了2年设计过滤器，但这些名义上的专家无法高于随机水平地预测某个样本最终会被分类器保留还是拒绝。
人类无法扩展到数十亿个样本，但他的更强观点是，即便能够扩展，也不应由人类完成。一个数据点的价值取决于它与训练集中所有既有内容的关系，而不只是自身是否精致。
10,000篇关于《哈姆雷特》的高质量摘要说明了这一陷阱：每一篇看起来都准确、清晰、有价值，但数据集并不需要全部10,000篇。审阅者不可能同时记住整个语料库及其冗余。
但零冗余也不是最优解。大象的形态相对固定，而狗覆盖数百个品种、混种、体型、纹理和颜色；因此，理解狗需要更多重复。系统必须无监督地发现概念、估计概念复杂度，并动态调整删除或保留样本的力度。
6. 「概念」本身是可调参数，而非固定本体
主持人追问，相关单元究竟是大象、狗、哺乳动物，还是更细的概念。Morcos 的回答有意令人不满足：概念粒度是一个超参数，是控制聚类何时拆分、保留多少冗余的经验旋钮。
Datology 已经进行了「数十万、数十万次实验」，因为不存在适用于一个语料库、更不用说所有私有数据分布的通用设置。科学问题之外，还有部署问题：如何零样本泛化到任意新数据。
这也解释了为什么数据策展不是一颗银弹。Morcos 称可能有约50种干预，每种只能带来适度增益；真正的大幅提升来自发现这些干预并让它们彼此组合，尽管「默认情况下，它们并不相处融洽」。
7. 更高的信息增益可能改变扩展曲线本身
Morcos 认为，主持人针对 GPT-4.5 或 Llama 4 等大模型表现不及预期给出的律师式解释并非不可能，但扩展挑战和边际收益递减可能才是更大的原因。
幂律扩展意味着，数据量每增加10倍，获得的性能增量就会变小。在《Beyond Neural Scaling Laws》中，Ben Sorscher 和 Morcos 以感知器为例，将这一行为与每个样本带来的边际信息增益同样按幂律递减联系起来。
其提出的机制很直接：如果数据策展能让连续样本带来的信息增益保持更平坦，而不是不断衰减，性能就不必遵循同一条曲线。Morcos 称，Datology 的目标就是把这一理论潜力变成可运行的系统。
对投资者而言，相关含义仍应使用他自己的表述：更好的数据会让「单位美元的性能提升几个数量级」。它不只是另一项输入成本；在模型持续拟合不足的情况下，它提高了每单位算力所能提取的价值。
8. Datology 报告学习速度提升12倍、绝对分数提升4–5个百分点
相比 DCLM，Morcos 称 Datology 达到收敛表现的速度约快12倍，使用的 token 不到10%。评估覆盖15项适合相应模型规模的标准任务，平均准确率包括 MMLU、ARC 和 RACE。
主持人质疑这是否会诱发基准测试过拟合。Morcos 承认风险尤其严重，特别是对那些分数很高却通不过「体感检查」的合成数据模型；Datology 保留很少被查看的留出测试，并使用额外评估加以防范。
在算力相同的情况下，他称模型平均分数领先主要开放数据集约4–5个百分点。仅仅延长基线训练，通常需要多用5–10倍 token 才能填平差距，因为每增加一个准确率百分点，难度都会上升。
在性能相同的情况下，Datology 称参数量不到一半的模型可以训练得更快，同时超过使用较少策展数据训练的大模型。Morcos 将其归因于异常充足的提升空间：已有增益接近10倍，未来「至少还可能有另一个100倍」。他说，大部分成果由不到20人的团队完成，公司目前约30人，使用的算力远少于前沿实验室。
9. 开放数据进展缓慢，因为激励机制偏向保密和模型演示
Morcos 称，前沿实验室已在更好的爬虫上投入大量资源，但爬取数据不同于回答这样一个问题：在模型已经看过所有内容的前提下，哪个候选样本最值得它学习。这种条件式估值仍大体处于保密和未解决状态。他称，Nemotron 在 DCLM 发布约6个月后推出，独有 token 更多，但平均质量大致相近。
关于数据集的经验法则经常失效：GitHub stars 并不能有效预测一个代码仓库是否会提升编码能力。包括 StarCoder 在内的研究发现，没有强区分度的代理指标；长度等简单属性反而可能胜过受欢迎程度。
谈到书籍时，Morcos 将近期一项上诉法院裁决概括为：购买的书籍可以用于训练，盗版书籍则不行；同时他强调，案件仍可能继续上诉。在 Meta，他看到围绕数据集的法律审批变得困难，以至于部分风险只能由 Mark Zuckerberg 授权。
因此，Datology 面临真实的开放科学张力。它潜在的护城河可能来自科学 know-how、工程基础设施以及最终形成的品牌；如果公开足够多的细节以实现完全复现，第一项护城河就可能被抹平，所以其博客希望分享机制和直觉，但不交出完整配方。
10. 合成生成分为发明和转换两类
Morcos 将全新生成与改写区分开来。当生成器本身提供知识时，这一过程就是「伪装成别的形式的蒸馏」；他怀疑，如果没有拒绝采样或其他监督来源，学生模型能够稳定超过教师模型。
模型坍缩的论证最直接适用于这一类：生成器过度代表众数、低估尾部，反复生成后分布会不断收窄，最终只剩下「众数」，近似于一个 delta function。每轮生成后进行过滤会注入信息，可能打断坍缩；主持人将其与 RL 和验证器联系起来。
改写则以既有源材料为条件。生成器只需重新组织、清理或暴露这些信息，将其变成更有用、或更贴近下游任务的形式，因此一个相对较弱的模型也能生成训练数据，教会明显更强的模型。
Morcos 称，Datology 即将发布的「Beyond Web」工作显示，改写可以超过使用全部原始 token 进行训练的效果，并有望「打破这堵数据墙」。关键区别在于，知识来自源数据，而不是执行改写的模型。
11. 多样性，而不是教科书风格，是合成数据的核心约束
当被问到「你只需要教科书吗」时，Morcos 回答：「不，你不只需要教科书。」教科书包含优秀材料，但分布狭窄；如果听众只记住一条数据质量原则，他希望那就是「多样性」。
他明确承认自己改变了看法：研究分布外泛化后，他曾押注扩展无法带来组合性。现代训练实际上提出了这样的问题：「如果没有任何东西处于分布外呢？」——把一切都放进训练集，而结果「好得惊人」。
主持人提到 Microsoft 的 Phi 系列，并质疑把所有内容都改写成教科书是否已经变成了教条。Morcos 将狭窄的合成分布与基准表现超过现实世界吸引力的模型联系起来；Datology 的做法是把内容改写成「许许多多不同的风格和格式」。
但教科书仍有一条经验值得保留：重复高质量 token，几乎总是优于消耗新的平均质量或未知质量 token。对这些有价值的样本进行改写，可以在保留其信息的同时，胜过机械重复。
12. 当稀缺的是迭代而非数据饱和时，课程学习变得重要
Morcos 在2023年中期就提出课程学习会回归，当时许多研究者仍坚持认为它不起作用。他用概念图和前置关系解释自己的观点：只有当图中没有边，或者每一对概念之间的边权完全相同，课程才没有用；学习显然不符合这两种情况。
在监督学习中，用80个 epoch 而不是160个达到 ImageNet 表现确实有用，但很少决定胜负。如今模型对海量语料拟合不足，数据排序可能决定训练是否需要10倍算力，以及是否额外花费数亿美元。
他把中期训练视为离散课程的后续阶段，希望把预训练、中期训练和后训练作为一个整体优化。大型实验室的不同团队像供应链上的客户一样各自行动，使下游信号很难反过来重塑上游数据。
主持人提出的诱导式训练异议反而加强了他的论点：如果后训练只是暴露已经存在的能力，那么预训练就应针对陡峭的 RL 或测试时算力曲线进行优化。反过来，他希望预训练数据对应一条平坦的越狱曲线：「如果很容易放进去，就很容易拿出来。」他以 Qwen 比 Llama 更容易进行强化训练为例，认为这可能是因为 Qwen 在预训练中加入了合成推理轨迹——包括错误轨迹——说明基座模型的重要性可能高于奖励信号。
13. 企业经济学把价值重心从更便宜的训练转向更便宜的推理
Datology 主要服务于从零开始训练模型，或使用私有领域数据继续预训练的组织，通常涉及至少数百亿个 token。主持人质疑字面意义上的国家自有模型后，Morcos 同意，目前的主权 AI 案例大多是政府拨款或公私合作。
「训练更快」很少意味着把原本需要1000万美元的模型压到100万美元。主持人将客户需求概括为：用1000万美元做出原本价值1亿美元的结果；Morcos 认同，客户通常真正想要的是训练得更好。更快训练的运营价值，是把一个10天的实验压缩成一夜完成，让同一团队可以大幅增加迭代频率。
「训练得更好」让数据成为算力乘数，但先进客户最看重的可能是「训练更小」。如果每年推理支出为5000万美元，部署一个必要规模2倍的模型，第一年就会浪费2500万美元；训练一个更好的专用模型可能只需2000万–3000万美元。
Morcos 将企业目标描述为「一英寸宽、一英里深」：只做好几个任务，达到「五个9」的可靠性，同时把服务成本降到最低。他认为，对大多数组织而言，专用的前沿级训练很快就能压到100万美元或更低；训练基础设施已经大体商品化，数据才是更难的瓶颈。
14. 更小的模型、叠加式策展和任务相对估值构成终局
参数剪枝仍有作用，但 Morcos 不再把它视为万能药。他关于 lottery ticket 的研究发现，中奖票据依赖数据；非结构化剪枝虽然能移除大量权重，却会产生稀疏矩阵开销，而适配 GPU 的结构化剪枝表现更差。更好的数据训练可以与剪枝和量化叠加。
他预测，3年后人们使用的大多数模型都会是个位数十亿参数或更小。测试时算力强化了这一趋势：总成本等于单步推理成本乘以推理步数，而事实知识会占用模型容量，使用工具的「认知核心」模型可能并不需要这些容量。他看好这样一个可能目标：模型在 GPQA 上接近零分，但在 BrowseComp 上达到100分。
RC 项目提供了叠加多种技术的公开示范。Morcos 称，从 DCLM、Nemotron 和 FineWeb 中，约25万亿个合并 token 被策展至约7万亿个；45亿参数模型在训练 token 还不到1万亿时就持续超过 Gemma，而 Datology 目前认为，同一源语料库可以产出质量相近的15万亿个 token。
长期科学目标，是针对指定下游任务自动衡量数据价值，包括 Datology 无法自由查看的私有分布。「不存在黄金策展」：最优的过滤、合成和加权方式取决于使用场景，任务相对的数据估值正是 Morcos 所称的「有点像 AI 的 NP 完全问题」。