一项自带标准答案的 AI 科学家评测——Ian Quigley，Leash Bio

摘要

• Leash Bio 通过预先测出整个化学空间的结果，让科学智能体的决策变得可审计。 智能体拿到一个靶点、一份分子目录和100个分子的预算，要从中找到最佳结合分子；代谢表现及其他类药性指标不在评测范围内。约90,000轮测试下来，Leash可以将结果与实测全景对照。
• 更强模型最明显的行为优势，是更早离开低效的化学搜索区域。 智能体可能重复测试、选择与自身假设相悖的分子，或持续改造结合效果差的分子；更强模型会更快离开“糟糕的化学邻域”（“crappy neighborhoods”）。它们为何这么做仍是未知数：“我们目前完全不知道。”
• Astra 6目前领先，但高价模型也可能表现不佳。 Quigley也看好Sonnet 5.5和Sol 6.1，并称DeepSeek V4 Flash“相当不错”。Sonnet 5“价格非常高，表现也不怎么样”；Opus 5.5当时还未测试。
• 模型的化学处理能力提升后，Leash得以尝试用通用模型完成更多任务。 去年夏天，模型处理SMILES的表现还很差；到2月前后，它们开始能真正处理化学问题。去掉分子信息会损害模型的决策。Quigley说模型可能理解了其中一部分，但至少确实在利用这些信息——执行这些任务时不会改动模型权重。
• Leash的扩展方案，是把已测实验复用于海量智能体 rollout。 Quigley称之为“实验室在环、延迟可摊销”（“a lab in the loop with amortized latency”），但智能体的选择范围被限定在已测分子之内。Leash已用几个化学库筛查约1,000种蛋白质，目前每天开展2个环境，计划尝试提升至每天约20个；这一目标定在2026年或2027年初。
• 向新生物学场景迁移的能力尚未得到验证，一种拟议的基准方法也还没测试。 Quigley不知道强化学习取得的进展能否迁移到新场景。被问及能否用贝叶斯超参数算法作为确定性基准时，他说团队还没试过，并认为它可能行不通，因为搜索空间“太崎岖”且“维度非常高”。

精读

1. 预先测绘化学空间，让科学决策变得可审计

• Quigley的构效关系（SAR）任务给智能体一个靶点、一份分子目录和100个分子的预算，要求它“尽可能找到最佳结合分子”。评测衡量结合效果的提升；代谢表现及其他类药性指标不在范围内。
• 智能体采用不同的搜索策略，用可读的自然语言写出关于分子为何有效或无效的SAR假设，再据此测试。经过约90,000轮 rollout，Leash掌握了整个实测空间。智能体可能找到的结果“只有整个环境里最佳结果的一半”，这让错失的机会和最终得分一样清晰可见。

2. 更强模型更早离开低效的化学搜索区域

• Quigley观察到，有些智能体很早就放弃，有些会重复测试分子，还有些会把预算花在与自身假设不一致的选择上。更强的模型更快离开低效区域；较弱的模型则反复“对那些根本不会有结果的分子做细微调整”。
• 有主持人追问，这是否意味着模型能识别糟糕的搜索区域，而不只是增加跳转次数。Quigley认可它们离开低效区域更快，但表示原因仍不清楚：“我们目前完全不知道。”
• 药物化学家认为，抽样得到的模型推理过程看起来合理。一位主持人提出让人类参与类似游戏，但这也受到分子目录限制：“你不能随心所欲地做任何事，只能从很多现成选项里选。”

3. Astra 6领跑，模型格局仍在快速变化

• Quigley称Astra 6是当前冠军，Sonnet 5.5和Sol 6.1也表现不错。Sonnet 5“价格非常高，表现也不怎么样”；Opus 5.5尚未测试。DeepSeek V4 Flash“相当不错”。
• 前沿模型大约每11天就有新版本发布，持续打乱论文发表计划。Quigley预计预印本会在节目发布前后推出，同时公开博客、数据、环境包和数千份转录记录。

4. 化学能力提升，但拟议的优化基准尚未测试

• 去年夏天，Leash开始做监督微调，因为前沿模型很难把SMILES转换成表示同一分子的非规范字符串。SMILES字符串沿着分子图遍历；从不同位置开始，同一个分子就可能得到不同的字符串。
• 2月前后，模型开始能真正处理化学问题。如今去掉分子信息会损害模型决策。Quigley承认模型可能理解了其中一部分，但明确说证据能说明它们在利用这些信息：“或者至少是在用这些信息”——“我们这里没有改动模型权重”（“We’re not changing weights here”）。
• 有主持人问，能否用贝叶斯超参数算法作为确定性基准。Quigley说团队没有运行过这类算法，并认为它可能行不通，因为搜索空间“太崎岖”且“维度非常高”；他称这是业内常见说法。

5. 复用实验扩大反馈规模，生物学迁移仍待验证

• Quigley把这种设计称为“实验室在环、延迟可摊销”（“a lab in the loop with amortized latency”）：实验测一次，之后就能有效地进行无限次 rollout。真实实验允许更自由地探索；预先测绘的环境则把选择限制在Leash已经测过的分子里。
• Leash已用几个化学库筛查约1,000种蛋白质，目前每天开展2个环境，计划尝试提升至每天约20个；这一目标定在2026年或2027年初。
• 强化学习在这些环境中的进展能否迁移到新生物学场景，仍是未知数。一位主持人提出覆盖集或许有帮助；Quigley也认为，实验预算如何分配还有更广泛的问题：“什么时候该留下？什么时候该离开？”