0:00 / --:--
No Priors · 6 月 26 日
Noam Brown 指出现有 AI 基准测试未考虑测试时计算规模，建议按成本和预算评估模型性能，以更准确反映实际应用能力。
在本集中，OpenAI研究科学家Noam Brown深入探讨了AI测试时间计算的规模对基准测试、模型安全性和研究的影响，强调了当前评估方法的不足以及未来的挑战和机遇。
值得快速扫一遍：有时间戳议程与分节详解，可按兴趣跳听。
这集还没有学习卡。生成后会保存在这一集，下次直接打开。
Dwarkesh Podcast· 2026-09-17Noam Brown——智能体集群、对齐与递归自我改进Noam Brown – Agent swarms, alignment, & recursive self-improvement同一位嘉宾：Noam Brown
Latent Space· 2026-10-02学术界是为有雄心的人准备的——MIT 的 Alex ZhangAcademia is for Ambition — Alex Zhang, MIT同主题：前沿模型能力Latent Space· 2026-09-22🔬 一座奥斯卡奖杯、两颗小行星，以及你用的 sklearn 里的算法：John Platt 谈 AI 如何助力科学No Priors
Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI Research Scientist Noam Brown
YouTube
音频
AI模型的能力评估一直是一个复杂且不断发展的领域。随着AI技术的进步，尤其是在大规模测试时间计算方面，传统的基准测试方法面临挑战。Noam Brown作为AI推理领域的先驱，分享了他对当前评估方法的看法，以及如何在未来更有效地评估AI模型的能力。
💬 他们说了什么： 在开场白中，主持人Sarah Gora介绍了本期嘉宾Noam Brown，并概述了本期节目的主题，即AI测试时间计算的规模对基准测试、模型安全性和研究的影响。她提到Noam是AI推理领域的先驱之一，并对他在该领域的贡献表示赞赏。
💡 为什么重要： 这一段为整个节目的讨论奠定了基调，强调了Noam Brown在AI推理方面的权威性和他对行业的深刻见解。
⚡ 争议点： 无明显争议点。
💬 Noam Brown介绍了他最近撰写的一篇关于大规模测试时间计算的文章，并解释了撰写这篇文章的动机。他提到，尽管新模型的发布通常伴随着怀疑，但经过一段时间的使用后，用户发现这些模型确实有显著的改进。
💡 这段介绍为后续的讨论提供了背景，说明了当前AI模型评估方法的不足以及Noam对改进这些方法的看法。
⚡ 一些人可能会质疑Noam对新模型改进的评估，尤其是在初期用户反馈不一的情况下。
💬 Noam指出，当前的基准测试方法存在问题，因为它们没有考虑到测试时间计算的规模。他提到，模型在不同预算下的表现差异显著，而现有的政策没有解决这一问题。
💡 这段讨论揭示了当前AI评估方法的局限性，强调了在评估模型能力时考虑计算预算的重要性。
⚡ 对于如何最佳地评估模型能力，可能存在不同的观点和方法。
💬 Noam讨论了在不同预算下评估模型性能的挑战，并提出了一种新的评估方法，即根据测试时间计算的投入来绘制模型性能曲线。他认为，这种方法可以更清晰地比较不同模型的性能。
💡 提出了一种新的评估方法，可能会对未来的AI模型评估产生深远影响。
⚡ 这种方法的实际应用效果和可行性可能会受到质疑。
💬 Noam讨论了模型思考时间的长短对其性能的影响。他指出，现代模型可以在更长时间内保持性能提升，但这在实际应用中并不总是可行。
💡 这段讨论强调了在评估模型时考虑思考时间的重要性，尤其是在实际应用中。
⚡ 如何在性能和实用性之间找到平衡可能会引发争议。
💬 Noam提到了一种被称为“基准最大化”的现象，即通过调整模型的运行方式来在基准测试中获得更高的分数。他警告说，这种方法可能会导致误导性的结果。
💡 这段讨论揭示了基准测试中可能存在的操控行为，强调了在评估模型时保持透明和公正的重要性。
⚡ 对于如何防止基准最大化的发生，可能会有不同的观点。
💬 Noam分享了他使用扑克机器人作为模型评估工具的经验。他指出，扑克机器人需要复杂的推理能力，这使得它们成为评估AI模型能力的理想工具。
💡 提供了一种创新的模型评估方法，展示了AI在复杂推理任务中的潜力。
⚡ 使用特定任务（如扑克）来评估模型的通用能力可能会受到质疑。
💬 Noam讨论了在模型能力随着预算增加而扩展的情况下进行安全评估的挑战。他指出，现有的安全评估框架没有充分考虑这一因素。
💡 强调了在模型能力评估中考虑安全性的重要性，尤其是在大规模测试时间计算的背景下。
⚡ 如何在安全性和模型能力之间找到平衡可能会引发争议。
💬 Noam讨论了模型发布周期与AI 智能体（Agent）运行时间之间的关系。他指出，随着模型变得更强大，它们能够在更长的时间范围内运行，这对评估其能力提出了新的挑战。
💡 这段讨论揭示了模型发布周期对其能力评估的影响，强调了在快速发展的AI领域中保持灵活性的重要性。
⚡ 如何在快速发布新模型和充分评估其能力之间找到平衡可能会引发争议。
💬 Noam讨论了模型的潜在能力，尤其是在未被充分探索的情况下。他提到了一些模型在低预算下取得的显著成就，强调了探索现有模型潜力的重要性。
💡 这段讨论鼓励研究人员进一步探索现有模型的潜力，而不是仅仅等待新模型的发布。
⚡ 对于是否应优先探索现有模型的潜力或开发新模型，可能会有不同的观点。
💬 Noam探讨了递归自我改进的局限性。他指出，尽管模型可以通过增加计算预算来提高性能，但在某些任务上仍然存在瓶颈。
💡 这段讨论揭示了递归自我改进的局限性，强调了在AI发展中考虑多种因素的重要性。
⚡ 对于递归自我改进的潜力和局限性，可能会有不同的看法。
💬 Noam讨论了大规模多智能体协调的潜力和挑战。他指出，尽管目前的研究只触及了表面，但未来可能会有更大的突破。
💡 强调了多智能体系统在AI发展中的潜力，尤其是在大规模协调和知识共享方面。
⚡ 对于多智能体系统的实际应用和潜力，可能会有不同的观点。
💬 Noam讨论了前沿AI研究中的竞争。他指出，尽管竞争激烈，但研究人员也在努力确保AI技术的安全和负责任的发展。
💡 强调了在AI研究中保持竞争力和安全性之间的平衡的重要性。
⚡ 对于如何在竞争中保持安全性和责任感，可能会有不同的看法。
💬 Noam讨论了当前基准测试方法的局限性，并呼吁改变这种不良的平衡。他建议在评估模型时使用更全面的方法。
💡 提出了改变当前基准测试方法的建议，可能会对未来的AI评估产生深远影响。
⚡ 对于如何最佳地改变当前的基准测试方法，可能会有不同的观点。
💬 Noam强调了根据成本评估基准测试的重要性。他指出，这种方法可以更准确地反映模型在实际应用中的性能。
💡 提出了根据成本评估模型的新方法，可能会对未来的AI评估产生深远影响。
⚡ 对于这种方法的实际应用效果和可行性，可能会有不同的看法。
💬 在结尾，Noam总结了他对AI测试时间计算的看法，并鼓励研究人员在评估模型时考虑更广泛的因素。他还强调了在AI研究中保持开放和合作的重要性。
💡 强调了在AI研究中保持开放和合作的重要性，鼓励研究人员在评估模型时考虑更广泛的因素。
⚡ 无明显争议点。
随着AI技术的快速发展，传统的基准测试方法面临挑战。Noam Brown的观点强调了在评估模型能力时考虑计算预算和思考时间的重要性，这可能会对未来的AI研究和应用产生深远影响。
