这集讲什么
本期播客探讨了人工智能（AI）在多样化的强化学习环境中进行训练，以实现通用人工智能（AGI）的潜力，以及在实际应用中AI如何通过在职学习来提高其能力。
值得看吗？
值得快速扫一遍：有时间戳议程与分节详解，可按兴趣跳听。
1-3要点
- 大规模训练可以克服当前AI模型的基本缺陷，如数据效率低和缺乏持续学习。
- 在线学习对于提高AI在实际应用中的效率和适应性至关重要。
- 计算机使用领域的进展缓慢是由于缺乏高质量多模态数据和可重播的训练目标。
播出信息
- 日期：2026年6月26日
- 嘉宾：未提及具体嘉宾
- 场合：Dwarkesh Patel的播客节目
背景
随着人工智能技术的快速发展，研究人员正在探索如何通过强化学习（RL）和在职学习来提高AI的智能和适应性。当前的AI模型在样本效率和持续学习方面存在不足，而这些问题可能通过大规模训练和新的学习范式得到解决。本期节目深入探讨了这些挑战和可能的解决方案。
节目结构 / 议程
- 大规模训练的赌注 — 00:00 🎧 · ▶️
- 样本效率与在线学习 — 01:01 🎧 · ▶️
- 计算机使用进展缓慢的原因 — 03:02 🎧 · ▶️
- AI在现实世界中的挑战 — 05:02 🎧 · ▶️
- RLVR的潜力与局限 — 07:02 🎧 · ▶️
- 在线学习的计算浪费 — 08:00 🎧 · ▶️
- 持续学习的架构创新 — 11:02 🎧 · ▶️
- OPSD与持续学习 — 13:01 🎧 · ▶️
- 梦想中的AI学习 — 16:01 🎧 · ▶️
- 未来的持续学习愿景 — 19:14 🎧 · ▶️
分节详解
1) 大规模训练的赌注 — 00:00 🎧 · ▶️
💬 他们说了什么： 所有实验室都在押注，通过在数千个多样化的强化学习（RL）环境中训练AI来实现通用人工智能（AGI）。这种训练将创造出一种能够在面对错误和模糊性时持续解决问题的代理。乐观者认为，通过扩大训练规模，可以克服当前训练范式中的基本缺陷，如数据效率低和缺乏持续学习。过去在自然语言处理中的研究问题在投入足够计算资源后得以解决。当前模型在样本效率上仅为人类的百万分之一，但这仅在训练期间成立。训练是一种一次性成本，分摊到模型将经历的数十亿次会话中。重要的是模型在会话期间的智能和通用性，这显然随着更多的RL训练而改善。
💡 为什么重要： 这段讨论揭示了AI研究的一个核心方向，即通过大规模训练来实现更通用、更智能的AI。这种方法可能是实现AGI的关键路径，尽管目前仍面临许多技术挑战。
⚡ 争议点： 这种方法是否真的能克服当前AI模型的基本缺陷仍然是一个开放的问题，尤其是在样本效率和持续学习方面。
2) 样本效率与在线学习 — 01:01 🎧 · ▶️
💬 训练成本是一次性的，而模型在会话期间的表现才是关键。AI代理能够解决越来越多的复杂问题，时间跨度也越来越长。人们常说员工在工作六个月后才能真正高效，这表明在线学习对于能力提升是必要的。通过将这六个月的学习浓缩到上下文窗口中，AI可以更快地达到高效状态。
💡 这段讨论强调了在线学习在AI发展中的重要性，尤其是在提高AI在实际应用中的效率和适应性方面。
⚡ 在线学习能否有效地替代传统的长期训练过程，以及如何在不增加计算成本的情况下实现这一点，仍然存在争议。
3) 计算机使用进展缓慢的原因 — 03:02 🎧 · ▶️
💬 计算机使用的进展比其他领域慢得多，尽管其结果是可验证的。一个原因是模型在预训练期间接触到的高质量多模态数据较少。另一个原因是，尽管一个领域是可验证的，但它也必须是可磨练的，即能够在一个确定性和可重播的模拟器中运行大量并行的演练。
💡 这段讨论揭示了计算机使用领域进展缓慢的潜在原因，并指出了AI在不同领域中面临的独特挑战。
⚡ 如何有效地创建可重播的训练目标，以加速计算机使用领域的AI进展，仍然是一个未解决的问题。
4) AI在现实世界中的挑战 — 05:02 🎧 · ▶️
💬 现实世界中的AI需要与真实世界互动，这无法仅通过数据中心内的训练来实现。外部循环验证可能需要数月甚至数年的实际行动才能产生结果，无法通过扰动模型的行为在数千个并行演练中重新观察。这种无重置、非平稳环境的处理是RL中的一个已知开放问题。
💡 这段讨论指出了AI在现实世界应用中面临的重大挑战，尤其是在需要长期验证和互动的任务中。
⚡ 如何在不增加计算成本的情况下有效地处理这些复杂的现实世界环境，仍然是一个开放的问题。
5) RLVR的潜力与局限 — 07:02 🎧 · ▶️
💬 实验室押注RLVR（强化学习和验证）可以泛化，即通过足够多的可容器化的可重现环境进行训练，可以开发出非常通用的代理。Dario在播客中提到，模型性能在长上下文中往往会下降，这暗示RLVR的泛化能力可能并不是无限强。
💡 这段讨论揭示了RLVR在提高AI泛化能力方面的潜力和局限性，指出了在长上下文中保持性能的挑战。
⚡ RLVR能否真正实现广泛的泛化，尤其是在复杂的现实世界任务中，仍然是一个需要实验证明的问题。
6) 在线学习的计算浪费 — 08:00 🎧 · ▶️
💬 实验室的计算资源中有30%到50%用于推理，但这些计算目前没有在帮助改进模型方面发挥任何生产性作用。最有价值的信息往往在部署中揭示，但AI无法利用这些信息进行学习。
💡 这段讨论强调了当前AI系统在计算资源利用方面的低效率，特别是在在线学习和持续改进方面。
⚡ 如何有效地利用部署中的信息来改进AI模型，仍然是一个需要解决的问题。
7) 持续学习的架构创新 — 11:02 🎧 · ▶️
💬 持续学习需要架构创新，以允许某种中间表示。当前有许多不同的工作想法，如稀疏保留和kvcash压缩。架构并不是持续学习的瓶颈，可能的瓶颈是损失函数。
💡 这段讨论指出了在持续学习中需要的架构创新，并强调了损失函数在改进模型方面的重要性。
⚡ 如何设计有效的损失函数以支持持续学习，仍然是一个需要进一步研究的问题。
8) OPSD与持续学习 — 13:01 🎧 · ▶️
💬 OPSD（在线策略自蒸馏）是一种技术，鼓励基础模型在解决实际问题时做出与长会话后积累上下文的模型相同的预测。OPSD不需要外部循环可验证奖励，并提供比NaiveRO更密集的监督信号。
💡 这段讨论介绍了OPSD作为一种改进AI持续学习的方法，强调了其在提高样本效率和模型泛化能力方面的潜力。
⚡ OPSD能否在广泛的应用中有效地提高AI的持续学习能力，仍然需要进一步验证。
9) 梦想中的AI学习 — 16:01 🎧 · ▶️
💬 如果AI能够构建一个良好的现实模拟来练习新技能或尝试替代策略，那么AI可以在相同的时间内体验数量级更多的模拟样本。这种“梦想”可以成为一种新的扩展轴，与预训练、RL和推理时间计算并列。
💡 这段讨论提出了一种创新的AI学习方法，通过模拟来增强AI的训练效率和能力。
⚡ 构建一个全面的世界模拟比模拟围棋游戏要困难得多，这种方法的可行性仍然是一个开放问题。
10) 未来的持续学习愿景 — 19:14 🎧 · ▶️
💬 到2027或2028年，RLVR训练可能会产生一个能够在陌生问题上找到方向的代理，并在遇到障碍时尝试不同策略并进行迭代。AI将通过广泛部署在经济中积累经验，并从与所有其他用户的互动中学习。
💡 这段讨论描绘了AI持续学习的未来愿景，强调了AI在实际应用中通过经验积累不断改进的潜力。
⚡ AI能否在如此短的时间内实现如此广泛的持续学习和能力提升，仍然是一个值得关注的问题。
人物与机构
- Dario：在播客中提到RLVR泛化能力的局限性。
- Dwarkesh Patel：播客主持人，讨论AI在多样化RL环境中的训练。
数字与证据
- 当前模型在样本效率上仅为人类的百万分之一。
- 实验室的计算资源中有30%到50%用于推理。
金句
- "Training is this one-time cost that amortized across billions of sessions."（训练是一种一次性成本，分摊到数十亿次会话中。）
- "The rollout here requires interacting with the real world."（这里的展开需要与真实世界互动。）
洞见与延伸背景
【背景补充】AI在多样化RL环境中的训练可能是实现AGI的关键路径，但需要克服样本效率和持续学习的挑战。当前的AI系统在计算资源利用方面存在低效率，尤其是在在线学习和持续改进方面。未来的AI可能通过模拟来增强训练效率和能力，但这种方法的可行性仍需验证。
争议与需核实
- RLVR能否真正实现广泛的泛化，尤其是在复杂的现实世界任务中，仍然是一个需要实验证明的问题。
- OPSD能否在广泛的应用中有效地提高AI的持续学习能力，仍然需要进一步验证。
- 构建一个全面的世界模拟比模拟围棋游戏要困难得多，这种方法的可行性仍然是一个开放问题。
行动建议
- 研究人员应继续探索大规模训练和在线学习的结合，以提高AI的智能和适应性。
- 需要开发新的架构和损失函数，以支持AI的持续学习。
- 应进一步验证和优化OPSD和模拟方法，以提高AI的训练效率和能力。
来源
- official_substack_transcription
- dwarkesh.com
