⚡ An Eval for AI Scientists That Knows the Answer Key - Ian Quigley, Leash Bio｜深度中文详解

播出信息（日期2026-10-26；时长994秒；含音频/YouTube/Episode 链接）

• 日期：2026-10-26
• 时长：994 秒（16 分 34 秒）
• 嘉宾：Ian Quigley，Leash Bio
• 主持：Brandon、RJ
• 音频：收听
• YouTube：观看
• Episode：节目页面
• 英文转写来源：youtube-captions

背景

Leash Bio 利用 DNA 编码化合物库，对大量化合物与蛋白质进行高通量筛选。本集是 Ian Quigley 此前访谈的后续：团队发现，这些已经取得的实验数据不仅能用于寻找候选分子，还能构成一个让智能体反复尝试科学决策的环境。

本集聚焦构效关系（structure–activity relationship，SAR）中的一个较窄任务：已知一批可供查询的分子与目标蛋白，让智能体根据逐次获得的结合结果，决定下一步测试什么，以找到结合更好的分子。药物化学中的代谢等其他重要性质，暂不在这个任务范围内。

总结分析

这项评测最有意思的地方，不只是给科学智能体一个分数，而是评测者握有它探索范围内的“答案键”。Leash Bio 先测量化合物与蛋白质的结合结果，再让智能体像药物化学家一样，在有限预算下选择实验、读取反馈、提出假设并继续搜索。由于环境中的结果事先已测，团队可以大量重放不同模型的决策过程，还能追问：智能体找到的分子距离已测范围内的最佳结果有多远？它是在有效探索，还是反复消耗预算？

访谈中，Ian 特别强调一种行为差异：表现较好的模型更快离开低产出的分子邻域，较弱模型则容易围绕不理想的候选物不断做微小改动。这比一张模型排行榜更接近科学工作的核心——如何在不确定性下分配有限实验机会。不过，模型写出的化学解释即使听起来合理，也不能直接证明它理解了原因；团队目前也不知道较强模型为何更善于及时转向。

预测量环境用一次实验成本换取大量、近乎即时的交互，是它相对实时实验循环的优势，也是边界：智能体只能选择库中已测过的东西。更长远的问题因此不是能否在这个环境里刷高分，而是从中训练出的决策能力，能否迁移到未见过的生物学问题。

节目结构 / 议程

1. 从高通量筛选到智能体沙盒 — 00:04 🎧 · ▶️
2. 百次查询预算与“知道答案键”的评测 — 01:53 🎧 · ▶️
3. 搜索失败模式、模型差异与化学表征 — 04:05 🎧 · ▶️
4. 基线、预测量实验循环与迁移问题 — 11:25 🎧 · ▶️

分节详解

1) 从高通量筛选到智能体沙盒 — 00:04 🎧 · ▶️

💬 他们说了什么：主持人回顾 Leash Bio 的 DNA 编码化合物库筛选工作：大规模实验留下了一片预先测量过的结果空间。Ian 的新想法是把智能体放进这片空间，让它根据实验反馈作选择，而不是只对静态题目作答。

💡 为什么重要：如果许多可能的选择都已有实测结果，同一个环境就能供不同智能体反复探索。评测对象随之从“能否说出合理答案”，推进到“能否连续作出有效的实验决策”。

⚡ 争议点：沙盒再大，也不是开放的真实实验室。它能回应的选择，取决于 Leash Bio 当初测了哪些化合物和蛋白质。

2) 百次查询预算与“知道答案键”的评测 — 01:53 🎧 · ▶️

💬 旗舰任务是 SAR 中的结合优化：智能体获得目标和可查看的分子目录，拥有100 个分子的查询预算，要尽量找出更好的结合分子。它可以用文字提出构效关系假设，再花预算检验。Ian 称团队已进行约 90,000 次智能体运行；评测者不仅知道每次查询的反馈，也知道整个已测环境的结果。

💡 掌握完整测量结果后，团队能比较智能体找到的候选物与环境内最佳候选物的差距，并分析它是否把预算花在了有希望的方向。这种“答案键”使过程评估不必只依赖智能体自述。

⚡ 此处的“最佳”仅指已测环境内的最佳；任务目前也只评估目标结合，不等于完成了药物发现所需的代谢、安全性等多目标优化。

3) 搜索失败模式、模型差异与化学表征 — 04:05 🎧 · ▶️

💬 团队观察到提前放弃、重复测试同一分子、以及围绕低分候选物持续微调等行为。表现较好的模型似乎更快离开低产出的分子邻域；Ian 明确说，团队尚不知道原因。智能体会写出颇像药物化学分析的解释，受邀查看的药物化学家认为其中一些思路可信。随后他们讨论 SMILES——将分子图表示为字符串的方法；Ian 说，模型处理这类化学表示的能力已有改善，移除分子信息则会损害后续决策。

💡 逐步运行记录把“得分差异”展开成可研究的搜索策略差异。分子信息消融也提供了一项较直接的检验：智能体至少在利用所见的化学信息，而非完全脱离分子结构作选择。

⚡ 可信的文字解释不必然是决策的真实依据；“离开坏邻域更快”也仍是观察到的现象，不能直接写成已确认的因果机制。此外，转写对部分模型名称识别不清，不宜据此给出精确排名。

4) 基线、预测量实验循环与迁移问题 — 11:25 🎧 · ▶️

💬 主持人问及贝叶斯优化等确定性基线；Ian 表示团队尚未做这项比较，认为搜索空间高维且结果“尖锐”，但这仍待实测。他把方法称为延迟被摊销的“实验室在循环中”：实验先做一次，此后可进行大量运行。团队称已筛选约 1,000 种蛋白质，当前约能建立每天 2 个新环境，并希望提高到每天 20 个。他们也计划发布预印本、数据与运行记录，研究这类环境能否用于强化学习，以及能力能否迁移到新生物学问题。

💡 预测量把缓慢、昂贵的物理反馈转成可规模化的交互反馈，为比较智能体或训练方法提供条件。更多环境则可能降低只适应少数任务的风险。

⚡ 实时实验允许尝试新选择，预测量环境却受既有数据边界约束。每天 20 个环境是目标，不是已实现产能；强化学习收益及跨任务迁移也尚未得到证明。缺少充分的非语言模型基线时，模型优势的性质仍难判断。

人物与机构

• Ian Quigley：本集嘉宾，介绍 Leash Bio 的筛选数据与科学智能体评测环境。
• Leash Bio：开展高通量化合物—蛋白质筛选，并将部分测量结果组织成智能体交互环境的机构。
• Brandon、RJ：本集主持人；分别推动了对任务设计、人工比较、基线与迁移等问题的讨论。

金句

“我们有能力大规模衡量科学智能体如何行动、会犯什么错，以及它们如何利用物理世界的反馈。” ——Ian Quigley，依据访谈原意译写

“先记录一次，然后就能在其中进行大量运行。” ——Ian Quigley，解释实验延迟如何被摊销

洞见与延伸背景

这里的“知道答案键”不意味着知道所有可能分子的答案，而是知道预先测量的选择空间中的结果。这个限定决定了评测的解释边界：它很适合比较预算使用和搜索路径，却不能单独证明模型具备在开放实验室中设计全新化合物的能力。

SAR 通常涉及多种性质的权衡。本集刻意把任务缩到蛋白结合优化，让反馈和目标较为明确；这种收窄有助于评测决策，却也意味着高分不能直接等同于“找到好药”。下一步值得关注的，是在更多环境中复现行为差异，并检验训练所得策略能否跨越预测量数据的边界。

争议与需核实

• 模型排名：英文字幕中的若干模型名称明显含混，应以正式论文或结果图为准，不据本转写引用具体冠军名单。
• 发布状态：Ian 说预印本、数据、环境包和运行记录计划随节目发布；本集转写未给出可核对的具体链接或实际发布清单。
• 基线比较：关于贝叶斯优化可能不适合此任务的判断，目前是受访者的预期，不是已报告的对照实验结果。
• 人工表现：药物化学家曾评看部分智能体思路，但访谈未报告同预算、同环境的人类对照成绩。
• 迁移与因果：较强模型为何更快离开低产出区域，以及环境内训练能否迁移到新生物学任务，均未有定论。

行动建议

• 研究者：查看正式发布材料时，同时检查环境覆盖范围、查询预算、结果指标及非语言模型基线，而不只看排行榜。
• 智能体开发者：记录每一步查询与理由，重点排查重复测试、低收益局部搜索和过早停止。
• 药物化学团队：把此类评测视为结合优化决策的受限测试场，而非替代开放式实验与成药性验证。

来源

• 本集音频
• YouTube／Episode 页面
• 英文转写：youtube-captions；本文时间戳据所提供转写标注。