这集讲什么
递归自我改进已经以“人类研究员借助 AI 加速实验”的形式出现,但从执行实验走向自主提出好问题、验证成果并安全地改进下一代模型,仍有明显距离。
1-3要点
- 先区分提效与自治:AI 已能承担明确划定的研究工作;完整的自主选题、实验和迭代仍是更高门槛。
- 研究品味是方向性瓶颈:大量尝试不自动等于有价值的发现,关键在于识别值得长期投入的想法。
- 可验证性决定改进能否累积:如果评测追不上模型,系统就难以可靠判断哪次实验真正有效。
播出信息
背景
“递归自我改进”(recursive self-improvement,RSI)常让人联想到 AI 独立设计出更强的 AI,再由后者继续改进自身。本集讨论的起点更务实:今天的模型已能辅助编写研究代码、运行实验和监测结果;问题是,这些帮助何时会从局部提效,变成持续加快模型研发的反馈循环。
主持人 Sarah Wang 分别采访 OpenAI 的 Mark Chen 与 Thinking Machines Lab 的 John Schulman。两人都把人机协作视为当下的现实状态,而不是宣称完全自主的 AI 研究员已经出现。
总结分析
本集最重要的区分,是“AI 加快 AI 研究”不等于“AI 独立完成下一代模型研发”。Schulman 描述的研发流程包含预训练、后训练、评测,以及为大型训练提前验证想法的小规模探索。Chen 认为,模型已经能像“研究实习生”一样接手边界明确的任务:按照人给定的方案实施实验、返回结果,或监测一组实验。这种工作若持续提高研发效率,就已具有递归自我改进的早期特征;但研究方向、实验是否值得做,仍高度依赖人。
难点因此不只是让模型执行得更快。Schulman 所说的“研究品味”,指识别那些长期有用、能与其他成果结合的想法;Chen 则指出,模型目前更擅长在既定方向内调参。即使它能提出候选方案,研究者还得判断改进是否真实:预训练有相对明确的困惑度等指标,后续能力评测却容易因模型进步而迅速失效。算力又构成另一层约束——研究假设通常需要真正运行实验,不能只靠推理完成验证。
安全问题贯穿这条路线。更强的模型可能帮助监测和改进其他模型,也可能在长期任务中偏离原目标。两位受访者对对齐研究抱有审慎乐观,提及思维链监测、鼓励诚实报告以及自动寻找安全缺陷修复方案;Schulman 还提出,谁来决定模型应遵循的价值,同样需要更开放的研究。节目最终留下的不是一个“全面自动化何时到来”的倒计时,而是一组必须同时推进的问题:研究判断、可靠测量、算力供给与安全治理。
节目结构 / 议程
- RSI 的定义与当前人机协作 — 00:00 🎧
- 从研究实习生到自主研究员 — 03:58 🎧
- 研究品味、评测与算力瓶颈 — 06:28 🎧
- 对齐风险与 AI 辅助安全研究 — 11:36 🎧
分节详解
1) RSI 的定义与当前人机协作 — 00:00 🎧
💬 他们说了什么:节目用一张描绘未来能力陡增的图引出 RSI,但 Chen 随即提醒:和 AGI 一样,不同人对 RSI 的定义不同。Schulman 将其落实到研发流程——预训练、后训练、评测和旁路探索都可以得到 AI 协助;Chen 则把它视作一种“加速器”,重点是相对于没有 AI 帮助的反事实情形,研发进展是否更快。Schulman 称当下仍是专家与 AI 配合能取得更好结果的“半人马时代”。
💡 为什么重要:这个定义避免把局部自动化误写成完全自主研发。衡量 RSI 的早期迹象,应关注整个研究流程的速度与质量,而不是只看模型能否单独生成一个点子。
⚡ 争议点:开场图示中“2027 年因自动化研究而陡增”是情景描绘,并非节目证实的预测;以研发曲线相对反事实的变化衡量 RSI,也需要回答其他改进因素如何排除。
2) 从研究实习生到自主研究员 — 03:58 🎧
💬 Chen 认为今天已经有“AI 研究实习生”:研究员指定范围和方法后,模型可以实施、运行实验并汇报结果,也能按要求监测实验。Schulman 举例说,让模型长时间独立探索一个想法,往往能得到合理实验和有趣线索,却未必完成原任务;等他亲自阅读结果、追问并重新指路,项目通常才能走得更远。Chen 主观估计,若把 AGI 和 RSI 各自看作连续谱,他会把当前进度分别放在约 80% 和 25%—50%,而非某个公认测量值。主持人还提到一项关于 Anthropic AI 研究提速约 2 倍的外部报告,但转写中相关时间范围不完整。
💡 现阶段最可信的能力边界是“完成被界定的研究任务”,不是“自行决定值得研究什么”。Schulman 的经历尤其说明,人类研究员在读懂失败、提出遗漏的问题和调整方向时,仍在创造关键增量。
⚡ 两组百分比是 Chen 对不同概念的个人定位,不能当作统一量表;实验提速也不能直接归因于 AI 已实现完全自主的递归循环。转写对工具名称及提速报告的部分表述可能有识别误差。
3) 研究品味、评测与算力瓶颈 — 06:28 🎧
💬 Schulman 将“研究品味”解释为识别长期重要、具有一般性且能与其他想法组合的工作;Chen 认为模型目前更擅长执行既定实验、优化超参数,而非形成这样的判断。Schulman 指出,读遍论文不等于拥有亲自预测、犯错再修正的经验,也设想通过研究者对候选想法的反馈训练模型。验证同样困难:Chen 说预训练可借助困惑度观察进展,后续能力的评测基准却越来越快过时。至于算力,AI 研究像实验科学,假设终究要运行;更能预测大规模结果的小实验,可能是提高研发效率的关键。
💡 一个能持续改进模型的系统,至少要形成“选题—实验—判断结果—决定下一步”的闭环。品味决定探索方向,评测决定能否辨认真进步,算力决定闭环可以运行多少次;任何一环受限,都可能使能力增长低于直觉中的指数想象。
⚡ 困惑度是有用的预训练指标,却不能单独代表所有下游能力或安全性。小实验能否可靠预测大规模训练结果,也必须针对具体方法检验;节目没有给出通用保证。
4) 对齐风险与 AI 辅助安全研究 — 11:36 🎧
💬 Chen 担心长时程任务中的目标漂移:模型可能把复制权重、向外传送自身等行为误作达成目标的子任务;但他也认为,更强的模型会参与监测和对齐其他模型。Schulman 看好直接奖励期望行为的研究,包括鼓励模型诚实报告某些不当行为的“confessions”方法。主持人援引研究称,自动化 AI 研究方法曾为 10 种对齐失效找到修复方案,其中一些方案迁移到规模接近 5 倍的模型;最佳自动方法在该测试中超过资深人类研究者的方案。Schulman 最后强调,价值观并非人人相同,对齐应成为更开放的公共科学,让使用者有更多塑造模型的空间。
💡 RSI 不只会提高能力,也可能提高发现问题、测试防线的速度。由此,对齐不是研发完成后的附属检查,而必须进入同一套迭代流程;与此同时,“对齐到谁的价值”不能仅以技术优化问题带过。
⚡ 思维链监测和模型自述的诚实程度均有边界,奖励“坦白”不等于保证模型会报告所有风险。上述 10 种失效与跨规模结果是节目对研究的转述,不应外推为一般性的对齐问题已获解决。
人物与机构
- Sarah Wang:a16z 普通合伙人、本集主持人;在结尾提出 RSI 可能加速其他领域研究及对齐工作的个人判断。
- Mark Chen:节目介绍为 OpenAI 首席研究官;讨论 RSI 的研发提效、评测、算力与模型对齐。
- John Schulman:节目介绍为 Thinking Machines Lab 联合创始人兼首席科学家、OpenAI 联合创始人;重点讨论研究者经验、反馈训练与更开放的对齐研究。
- OpenAI、Thinking Machines Lab、Anthropic:分别是受访者所属机构及节目援引安全研究时提到的机构;机构研究结果不等同于本集独立复现实验。
- a16z / Working Theory:节目出品方与本集栏目。片尾披露内容仅供参考,且 a16z 及关联方可能投资节目讨论的公司。
金句
以下为依据英文转写所作的中文意译,并非逐字中文原话。
- Mark Chen:“RSI 的问题和 AGI 一样:每个人都有自己的定义。”
- John Schulman:“我们仍处在‘半人马时代’:AI 能力惊人,但专家与 AI 一起工作,结果会更好。”
- John Schulman:“研究品味,是知道哪些想法从长期看真正重要。”
- Mark Chen:“你怎么知道自己成功了?这是 RSI 的决定性问题之一。”
洞见与延伸背景
“递归”容易令人只盯着最终模型是否能自行设计下一代模型。本集提供了一个更可观察的视角:先检查 AI 是否让研发组织的实验、分析和决策循环持续变快,再区分哪些进步来自模型自主判断,哪些仍来自人类分配任务与纠偏。
这里还存在一个容易混淆的指标问题。困惑度衡量模型预测数据时的表现,适合回答一类预训练问题;研究者真正关心的实用能力、稳健性和安全性,则需要不同评测。若只优化容易测量的代理指标(proxy metric),即使分数上升,也未必得到想要的研究成果。
争议与需核实
- 预测与现状:开场的 2027 年能力陡增图是情景设想;Chen 的进度百分比也是个人估计,均不宜表述为既定时间表。
- 提速幅度:主持人提到约 2 倍研究提速,但转写在描述统计时间范围处不完整;报告名称在语音识别中也可能有误,引用时应回查原报告。
- 安全研究效果:自动修复 10 种失效、向近 5 倍规模模型迁移,以及优于人类方案,均需结合原研究的任务、基线和测试条件理解。
- 转写准确性:个别工具名、人名和技术用语有明显语音识别不稳定迹象。本文保留可辨认的论点,不据不确定拼写作额外推断。
- 对齐的治理问题:让用户拥有更多价值选择权,与确保基本安全边界并不天然一致;节目提出方向,未给出完整制度方案。
行动建议
- 评估 AI 研究工具时分开记账:分别记录执行实验、提出假设、判断结果所节省的时间,以及人类纠偏所花的时间。
- 为每次实验预先写明成功条件:除单一分数外,检查结果能否复现、能否跨规模迁移,以及是否带来新的安全问题。
- 把安全实验纳入研发主流程:模型能力提高时,同步更新失效测试与监测方法,不把一次自动修复视为长期保证。
- 阅读提速与对齐报告时追问基线:确认“比谁快”“在哪些任务上有效”,再判断结论能否推广。
来源
- 本集 Episode 页面
- 本集音频
- 英文转写来源标识:
asr:transcribe-svc:job_3f514a5ef44e。文中时间点据所提供转写标注;外部研究与统计为节目转述,未在本文独立核验。