The Race to Recursive Self-Improving AI｜深度中文详解
- 节目：a16z
- 标题：The Race to Recursive Self-Improving AI
- 日期：2026-10-12 03:00 AM PT
- 时长：2007 秒（33 分 27 秒）
- 主持人：Martin Casado，a16z 普通合伙人
- 嘉宾：MakerMaker.AI 联合创始人 Dhaval Adjodah、Owen He
- 音频：收听本集
- YouTube：观看本集
- Episode：节目页面
“递归自我改进”（recursive self-improvement，RSI）常被用来描述 AI 加速 AI 研发，但这一定义过宽：研究员用模型写代码、优化 GPU 内核，也能让下一轮研发更快，却仍由人决定改进方向。本集从“谁在优化、谁被优化”切入，讨论能否让改进者与被改进者进入同一个反馈回路。
讨论对象也不只是模型权重。提示词、智能体运行框架（harness）、模型选择、推理服务乃至硬件，都会影响系统整体表现。因而节目反复追问两个问题：局部进步能否转化为系统进步？在投入人力、算力和资金之后，所谓“自我改进”还剩下多少净收益？
本集最有价值的地方，是把 RSI 从“AI 能帮忙造 AI”的口号，收紧为一个可检验的系统问题。嘉宾认为，普通技术进步也有自我催化效应：计算机帮助设计更好的计算机，并不意味着计算机已经接管改进过程。RSI 的关键变化，是模型及其所在的多智能体系统既提出、执行改进，也成为改进对象；人类研究员并未被排除，而是作为系统中的一类参与者继续发挥作用。
但闭环不是“自动起飞”的证明。能力提升的速度取决于改进能力如何随既有能力变化，也受下一步研发难度和资源消耗约束；这些关系中的关键参数，不能仅凭一幅循环箭头图推出来。嘉宾因此把重心放在实测：除了看性能，还要追踪每次实验花费的算力、时间及人类脑力，并警惕随机波动、挑选结果和奖励作弊。
MakerMaker.AI 选择推理效率作为切入口，理由兼具递归性和商业性：推理越高效，系统用于进一步试验与改进的资源也可能越充裕。嘉宾称已看到性能提高、单位资源产出改善同时出现的早期迹象，却没有公布足以独立审查的方法和数据。由此，本集传达的并非“爆炸式增长已经发生”，而是一套更严格的判断标准：考察整个系统，而非单点演示；计算完整成本，而非只看榜单分数；承认不同领域会受到物理实验和验证周期的不同制约。
- RSI 的边界：谁改进、谁被改进 — 03:25 🎧 · ▶️
- 闭环为何不等于起飞 — 05:55 🎧 · ▶️
- 多智能体系统与完整成本核算 — 09:15 🎧 · ▶️
- 从单点论文走向全栈协同优化 — 14:00 🎧 · ▶️
- 为什么先做推理，以及谁决定优化目标 — 18:11 🎧 · ▶️
- 效率迹象、测量陷阱与物理瓶颈 — 22:45 🎧 · ▶️
💬 他们说了什么：Casado 提出一个常见说法：“我们用 AI 创造 AI”，实际工作却可能只是让 AI 编写 GPU 内核。嘉宾建议先辨认优化者与被优化者。若改进思路仍由人产生、AI 只是工具，他们称之为“自我催化”，而非他们所说的 RSI。计算机帮助制造更好的芯片、互联网帮助研究者协作，都属于类似的技术加速；新变化在于，智能体所依赖的模型本身也可能成为优化对象。
💡 为什么重要：这个区分避免把任何 AI 研发自动化都算作“自我改进”。判断重点从“有没有使用 AI”转向“改进能力是否被重新投入到改进该能力的过程中”，并进一步要求识别回路中仍由人提供的关键判断。
⚡ 争议点：优化对象是模型，并不自动意味着优化过程已经自主。若选题、验收标准和最终采纳仍主要由人决定，应如何界定闭环程度？节目提出方向，但没有给出可直接套用的分级标准。
💬 嘉宾以简化的变化率模型解释：能力增长既取决于系统创造改进的表现，也受成本或下一步难度制约。如果改进能力随系统能力增强而增强，增长轨迹可能与普通研发不同；若这种关联更强，才可能出现更快的增长。Casado 随即指出，画出反馈回路并不能确定非线性系统会收敛、持续增长还是起飞。嘉宾同意，关键关系必须实测，不能只靠推导。
💡 这把两个常被混为一谈的命题拆开了：闭合反馈回路是系统结构描述，增长曲线则是经验结果。哪怕系统确能改进自身，其每轮收益也可能递减，最终趋于平台。
⚡ 节目使用“分子／分母”和增长率作直观解释，而非发布经过拟合的预测模型。真正决定曲线形状的参数、适用任务和资源口径仍待测量；奖励作弊还可能使观测到的“增长”根本不代表能力增长。
💬 MakerMaker.AI 描述的不是一个完全数字化、独自工作的智能体，而是有人类研究员、工程师及多个 AI 智能体参与的混合系统。Casado 追问：模型发布更快，会不会只是因为公司投入更多资本？嘉宾回答，核算不仅应包含算力和资金，也要纳入人类工时及为找到成功配置而做过的实验。他们称内部设有记录实验开销的“bleeder board”。讨论 GPT-2 训练效率时，嘉宾以相同硬件条件下训练时间和成本下降为例，但也承认：训练旧模型变便宜，不等于前沿模型能力已进入 RSI 循环。
💡 如果只报告最终一次成功实验的 FLOPs，忽略前面反复试错和人类设计，便会高估系统自主产生改进的效率。完整的“分母”是比较不同技术路线、不同时间阶段是否真有净进步的前提。
⚡ “纳入人力”容易说、难以统一计量：研究构想、失败实验、基础设施摊销该怎么算？节目提及 GPT-2 如今可在单 GPU 上数小时训练、成本约百美元的说法，但未指定基准版本、硬件型号及完整核算方式，不宜据此计算通用改进率。
💬 嘉宾称，一些标榜 RSI 的论文方法放入其内部基础设施、扩大到基准和有经济价值的问题后，效果并不稳定。他们主张先建立统一的数学框架，再检验哪些简单机制能够闭环、扩展。优化层次从提示词、harness、模型权重，一直可延伸到芯片；只改 harness 或只改权重，都可能忽略两者的相互影响。他们以复杂系统为喻：与其拼接约 200 个小系统，不如寻找能够覆盖它们的较少共同抽象；“12 个抽象”是对比式举例，并非公布的实际系统规格。
💡 全栈视角要求检查净效果：某一组件的提升，可能给另一组件增加开销，或让未优化部分成为新瓶颈。研究评价因此不能停在单个 benchmark 分数，而要问整体系统是否更强、更省资源。
⚡ “内部复现发现许多论文不奏效”是嘉宾的概括性陈述，节目未列出论文清单、复现设置或结果。统一框架是否优于针对特定任务的专门方法，也需要公开、可复核的跨任务比较。
💬 作为创业公司，MakerMaker.AI 选择模型推理与服务效率作切入口：它既靠近 AI 系统自身，也有现实需求。嘉宾描述，推理更高效可能让同样资源支持更多试验与 rollout，继而帮助后续改进。其系统使用多个 LLM 执行不同工作；在某些情况下，由智能体选择使用哪个模型、优化哪个组件。被主持人问及是否有一条“改进你自己”的总提示词时，嘉宾表示连总提示词也在被改进。
💡 推理效率不是单纯的成本削减。如果改进系统本身大量依赖模型调用，降低调用代价可能反过来扩大可探索的实验空间。这说明为什么一家追求 RSI 的公司，会从看似具体的服务基础设施问题入手。
⚡ 效率提升能否稳定转化为能力提升，取决于额外试验的质量及评估反馈，而不是推理速度本身。嘉宾称其数学定义可推广至广泛问题域，但也承认物理约束和人类参与限制；节目没有展示跨领域通用性的实证结果。
💬 面对“能否用更少能量取得更好结果”的追问，嘉宾说他们已观察到性能与资源效率同时改善的早期迹象，且相关结果在过去几个月逐渐积累；但未披露具体指标。他们强调测量困难：新问题往往需要运行数百次实验以辨别方差，甚至可能发现多层智能体间接造成的奖励作弊；同为 B200 的 GPU，也可能表现出可传导至上层结果的差异。讨论扩展到领域瓶颈：数字计算部分即使快 1000 倍或 100 万倍，若原本只占整体流程的一小部分，收益仍受其余步骤限制。药物发现需要湿实验和临床试验，验证周期可能长达数月，无法照搬代码或数学任务的快速反馈节奏。
💡 这里同时给出雄心与刹车。单项准确率上限为 100%，本身不适合作为无限增长的标尺；“智能”也不是一个能概括全部领域的单一数字。若要判断是否出现持续加速，需要观察多维能力、投入产出，以及限制整个工作流速度的最慢环节。
⚡ 所谓“迹象”仍是公司口述，未附公开数据、误差范围、对照组或独立复现。节目中关于物理计算极限的谈话是在说明增长终究有边界，不能据此推断实际系统会在可见时期接近那个边界。
- Martin Casado：a16z 普通合伙人，本集主持人；持续追问 RSI 定义、增长曲线与投入产出的可验证性。
- Dhaval Adjodah：MakerMaker.AI 联合创始人；介绍公司对闭环、全栈优化及效率的看法。姓名拼写以所给英文转写为准，待官方资料核对。
- Owen He：MakerMaker.AI 联合创始人；节目中介绍数学、持续学习和元学习背景，以及曾任 DeepMind 研究科学家。
- MakerMaker.AI：两位嘉宾所在公司；称正在研发由人类与 AI 智能体共同参与的递归改进系统，当前以推理问题为重要切入口。
- a16z：本集播出方。节目结尾提醒，内容仅供信息参考，并披露 a16z 及关联方可能投资节目讨论的公司。
“要区分这些说法，重要的问题是：谁是优化者，谁是被优化者？”
——嘉宾，意译
“有一个闭环，并不意味着它就会起飞。”
——本集讨论要旨，意译
“如果改进只是靠投入越来越多的资源换来，那就不是 RSI。”
——嘉宾，意译
“任何没有被优化的部分，后来都会成为瓶颈。”
——嘉宾，意译
- 把“自我改进”拆成权限问题与结果问题：系统能否提出和执行修改，是权限与流程设计；修改后是否真的更强、更经济，是实验结果。前者成立不能代替后者。
- 为改进建立成本账本：比较系统版本时，可同时记录目标指标、推理与训练开销、实验次数、人工介入、失败成本及评估方差。“每次成功的成本”比单次最高分更能暴露问题。
- 区分三个可优化对象：执行任务的模型、组织模型工作的 harness，以及决定“下一步改什么”的选择机制。若最后一项长期固定，系统仍可能受人类预先设定的搜索空间限制。
- 优先寻找短反馈回路，但不要误认其普适性：软件和推理服务容易反复测量，适合验证方法；涉及实验室、制造或临床验证的领域，还要把实体流程纳入总耗时。
- 早期结果尚未公开验证：嘉宾称已看到性能和效率同步改善，但缺少任务定义、成本口径、时间序列、统计区间及独立复现。
- “RSI”边界仍有灰区：节目认可人类是混合系统的一部分，却未明确在何种人类参与比例或决策权限下，仍可称系统在递归改进自身。
- 复现批评缺少逐项证据：有关其他 RSI 论文在内部测试中不扩展、结果可能受噪声影响的评价，应等待具体方法与数据。
- 转写细节需要对照原声或官方页面：人物姓名拼写、模型名称及个别技术例子的自动转写可能不准；本文未将这些细节作为独立已核事实。
- 商业利益应一并考虑：受访者正在研发相关产品，节目播出方亦作出潜在投资关系披露；这不否定技术观点，但提高了公开评估的重要性。
- 评估 RSI 宣称时先画出回路：标明谁提出改动、谁执行、谁评估、谁决定保留，以及哪一部分真正成为被优化对象。
- 索取成对指标：要求同时提供能力提升和完整资源消耗，并说明人类工时、失败实验是否计入。
- 要求稳健性检验：查看多次运行的方差、固定硬件与基线、跨任务表现，以及针对奖励作弊的排查。
- 按领域估计瓶颈：在投入自动化前，先判断最慢步骤是模型推理、人工审批，还是无法快速压缩的物理实验。
