打造AI物理学家:ChatGPT共同创作者的下一项事业
摘要
- Periodic Labs的核心押注是:自然应成为AI的下一种奖励函数。 早期ChatGPT从人类偏好中学习“有帮助”,后来又通过可验证的评分器获得数学和代码正确性;物理学的进一步突破,也需要针对真实实验施加同样的优化压力。Cubuk用一句话概括这一论点:“自然是我们的RL环境。”
- 更多算力会让模型变强,但无法凭空制造缺失的科学知识,也无法带来高效的分布外学习。 Fedus承认 scaling law 仍然成立,但追问:“这个纵轴到底代表什么?”代码模型可以通过反复通过单元测试实现递归改进,但“那个模型不会因此治愈癌症”;Cubuk补充说,分布外幂律的斜率可能低到让进展需要“几个世纪”。
- Periodic正在打造科学文献无法提供的数据引擎。 已发表的测量结果可能跨越多个数量级,负面结果很少被记录,合成或超导数据集的噪声底也可能高到无法训练预测模型。因为“这些系统不是魔法”,实验必须压缩不确定性,并持续把训练分布推向目标。
- 高温超导既是可证伪的基准,也是推动完整自主科学栈落地的驱动力。 目前引用的常压纪录约为135开尔文;创始人认为,超过这一纪录很可能需要自主合成、表征、模拟和实验迭代协同完成。假设存在200开尔文超导体,即便尚未商业化也意义重大,因为在这一温度观察到量子效应,将“彻底改变人们理解宇宙的方式”。
- 商业切入口,是面向航天、国防、半导体和先进制造业工程师与研究人员的智能层。 Periodic希望自动化模拟、打通设计流程,并缩短“巨大研发预算”下的实体研发迭代周期。Fedus明确把使命与经济性联系起来:“技术与资本彼此交织”,因此实验室计划采用有边界的“land and expand”路径,而不是第一天就试图改造整条生产线。
- Periodic预计,只有通过mid-training,而非单靠检索,才能把通用模型变成物理和化学专家。 公司计划在晶体结构、合成配方、模拟、实验和客户知识之上继续预训练,再结合高算力强化学习与专用工具。组织设计也对应这一组合:一支约30人的“N of one”团队,覆盖LLM、实验、模拟、自动化和理论,并由学术顾问与资助项目提供强化。
精读
1. 自然提供数字评分器无法提供的奖励
Periodic的起点要追溯到8年前的Google Brain。当时Fedus和Cubuk一起尝试翻动一只两人单独都推不动的轮胎。此后两人的对话不断回到量子力学和超导;随着LLM开始能够检索科学知识、编写模拟程序,推理能力、高算力RL、物理模拟和实验规模化的进展,逐渐显现出“机器学习中同一类原则在起作用”。
Fedus将早期ChatGPT概括为一套标准RLHF流程:先用监督样本把原始的自动补全模型训练成助手,再让奖励模型学习人类更偏好回答A而非B。这个奖励函数编码的是友好程度,而不是数学或代码是否正确。Midha指出,后续提升来自推理能力,以及“更好、更精确的奖励函数”。
Periodic希望用一套植根于物理的闭环替代数学和代码评分器:智能体阅读、计算、模拟、提出实验、观察结果,再不断迭代。模拟器仍然只是工具,而非真理——实验会纠正模拟器的缺陷,因为“真实答案在实验里”。Fedus更广泛的前提同样关键:即使是天才,如果没有行动、失败和修正的机会,也很难发现什么新东西。
2. Scaling有效,但目标分布决定它能买到什么
Midha的质疑值得保留:如果可预测的scaling能让通用预训练涌现出新能力,为什么前沿实验室最终不能在没有专门物理验证栈的情况下攻克物理学?Fedus接受经验上的scaling law,却质疑它暗含的终点:互联网分布上的表现,与成功完成实验科学,处在完全不同的纵轴上。
Fedus用代码类比把边界说得很清楚。模型可以写一个pull request,收到单元测试反馈,强化成功代码,甚至因为代码充足且可数字化验证而加速自身的软件开发。但“那个模型不会因此治愈癌症”;它可以辅助癌症研究人员,却没有获得缺失的数据,也没有在那个环境中完成迭代。
Cubuk区分了分布内和分布外scaling:两者都可能遵循幂律增长,但距离训练分布越远,后者的斜率越低。“你可能需要花上几个世纪”才能得到想要的结果。Periodic的答案,是通过实验改变训练集,让目标逐渐进入分布内。
现有语料不仅不完整,而且存在结构性偏差。一项已报道的物理属性跨越多个数量级;形成能标签可能噪声过高,无法预测下一次合成;超导数据集甚至可能完全没有帮助。只发表阳性结果还会删掉一个关键学习信号:有效的阴性结果能告诉模型什么会失败,而未被记录的失败对模型等于什么都没教。
3. 超导让AI科学家的野心变得可测量
Periodic计划中的第一个实验室,将探测化学、生物学和材料运行的量子力学尺度。其粉末合成系统会混合现有粉末并加热,制备新材料——Fedus把它在机械层面比作旧金山机场的一台咖啡机机器人,但这套系统能够探索超导体、磁体及其他具有技术价值的材料。
进展有一套异常清晰的计分牌:“我们合成出的最高温超导体是多少?”Cubuk称,常压下的最佳纪录约为135开尔文。应用评估同样直接落在现实属性上——直接测量延展性、韧性、强度或其他指定性能,因此比传统模型训练基准更难被钻空子。
假设存在200开尔文超导体,即使尚未形成产品,也已经具有价值。Cubuk认为,如此高温下的量子行为将重塑人们对宇宙的理解;从技术上看,超导也是一种相变,其转变温度通常更多由晶体的基本属性决定,而不是由当前模拟器尚未捕捉到的缺陷或微观结构决定。
Midha追问,超导和磁性究竟是通往更广泛科学的跳板,还是特定领域的出口。创始人的回答是运营层面的:这颗北极星会迫使自主合成、表征、理论计算、模拟和工具调用进入同一个完整闭环。完成验证后,Periodic希望建立跨领域复制的路径,同时测量系统的泛化能力——从超导到磁性,再到可能表现不同的流体力学。
4. 物理研发系统是商业化桥梁
Midha将Periodic的路径与前沿AI实验室作比较:AI研究员可以是北极星,但编程最终成为商业价值更高的中间产品。她认为,Periodic可能对应的产品,是面向先进产业工程师和研究人员的copilot。Fedus将其定义为服务航天、国防、半导体和制造业的“智能层”——这些行业仍以实体迭代为核心,而企业往往缺乏好的工具。
目标是缩短迭代周期,找到更好的材料或工艺方案,并在资深工程师离职时保留其知识。Fedus直接承认其中的融资逻辑:“技术与资本彼此交织。”一个“极其成功的商业实体”既能回应规模巨大的实体研发预算,也能为更快的科学突破提供资金。
部署从一位内部推动者、一个边界清晰的关键问题和一套约定好的评估标准开始,而不是“第一天就改造你的晶圆厂”。一位潜在客户重点提出,希望自动化目前需要大量员工培训的模拟流程、统一格式、把结果回灌到设计管线,并将分散的数据放在一起处理。Periodic会从客户紧迫性与自身最强能力的交汇处切入,再采用“land and expand”的方式扩张。
5. Mid-training把通用模型变成科学专才
Fedus将mid-training定义为:在传统后训练之前继续预训练,把缺失的知识注入模型。对Periodic而言,数据范围既包括底层晶体结构,也包括“材料XYZ是如何制成的”这类语义描述,以及模拟和实验数据。目标不是堆叠互不相干的语料,而是验证加入分布C后,模型在A和B上的表现也得到提升,从而证明有用的跨领域泛化。
检索很有用,因为访问权限可以匹配发起请求的员工,但它不会把知识编码进模型权重。训练能够形成更丰富的理解,同时也带来更棘手的治理问题:如果部分文件仅CEO可见,Periodic就必须对知识分桶,并可能创建不同的系统,而不是把所有内容不加区分地用于一个模型的预训练。
Periodic预计会建立在不断变强的基础LLM、开放模拟方法和神经工具之上,而不是重新制造每一个组件。智能体可以在专用神经网络擅长的地方调用它们;语言适合处理文献和合成配方,等变图神经网络和几何扩散模型则可以提供表示原子与设计几何结构的工具。
学术界还能补上另一层缺失能力:专家的推理策略。一位物理学家曾否定模型的一种推理方式,认为它应该在更高层次上、以“对称性”来推理。学术合作者可以识别这类基本推理原语和分析方法,Periodic则负责设计真正会奖励这些能力的强化学习环境。
6. 组织结构映射了它希望训练出的多学科模型
这支约30人的团队覆盖LLM研究、实验、模拟、固态化学与物理、自动化、设施、理论、mid-training、RL和基础设施等领域,Cubuk将这种能力结构称为“分形”。每周的教学活动一方面传递RL和数据清洗知识,另一方面传递科学与科学史;混合型研究人员则在团队间充当翻译,通过类似API的问题确认输入、输出和目标。
团队不要求成员拥有高阶物理或化学学位。Cubuk反转了那句关于靠近LeBron James的篮球格言:即便最强的物理学家,未知领域也远大于已知领域。现代科学已经过于宽广,单个人无法同时掌握突破所需的化学、合成、表征和物理,因此协作——以及最终具备整合能力的模型本身——不可或缺。
学术策略分为两条线:一个覆盖超导、固态化学、物理、合成和高通量DFT的顾问委员会,以及一项面向更适合在大学开展的研究的资助计划。节目中提到了一些潜在贡献者,但其转写姓名并不清晰;拟议资助方向包括LLM智能体、合成、材料发现和物理建模。
招聘优先看重深度好奇心、务实精神、至少一个维度上的世界级能力,以及“与现实发生接触”的意愿。Cubuk又提出了决定性的速度要求:“我们不希望这些技术要等10年”——目标是让LLM尽快改善实体科学。