Can Open Models Keep Up With the AI Frontier? | Nathan Lambert｜深度中文详解
- 日期：2026-10-14，3:00 AM PT
- 时长：3594 秒（59 分 54 秒）
- 节目：a16z Podcast
- 主持人：Lisa Lee
- 嘉宾：Nathan Lambert，非营利研究机构 Trillium 创办人
- 音频：收听
- YouTube：观看
- Episode：节目页面
讨论的起点是一个看似简单、实则包含多种比较口径的问题：开放模型能否追上 OpenAI、Anthropic 等公司的前沿模型？“追上”既可能指发布当天的通用能力，也可能指几个月后的特定任务表现、部署成本，或企业能否在自有硬件上掌握模型权重。主持人 Lisa Lee 因此把预训练、训练后的能力塑造、模型蒸馏、商业分发和递归自我改进放在同一场对话中。
Lambert 曾参与 AI2 的开放模型训练工作，现创办 Trillium。他的关注点不仅是谁拥有最强模型，还包括外界能否获得足够的开放工具、实验轨迹和评测材料，判断能力究竟如何产生、又在哪些地方仍会失败。
本集最有价值之处，是把“开放模型追赶前沿”拆成技术、组织与市场三道不同的题。Lambert 认为，前沿实验室拥有更多算力、数据采购能力，以及从训练到推理服务的垂直整合；它们能够先探索推理模型、编程产品和大规模智能体协作，再迅速接触高价值客户。开放模型建设者往往没有同等资源，却可以沿着已经显现的路线跟进，并在企业私有数据、定制训练和自主部署的市场形成另一种优势。两边不一定在同一时间尺度上竞争，也不必只剩一个赢家。
对中国模型的讨论揭示了另一个容易被简化的问题。Lambert 不接受“它们只是蒸馏闭源模型”的单一解释：他强调人才实力与训练能力，同时承认外界对大规模调用闭源模型输出仍有合理疑问。更关键的是，旧式“拿教师模型答案做监督微调”的经验，不能直接解释今天依赖推理轨迹、强化学习和任务环境的全部能力提升。主持人则提醒，若追赶太快削弱前沿实验室的收入与融资循环，探索最昂贵新方向的动力也可能受影响。
对话最终从竞争转向可观察性与风险准备。训练环境正在成为昂贵而重要的资源，但质量参差、奖励漏洞与不透明供应链可能污染结果。Trillium 希望开放部分环境、工具和研究过程，让外界看到 AI 实际帮研究者完成了什么、卡在何处。这既是对“模型即将自行改进并迅速拉开差距”的检验，也服务于更务实的公共讨论：即使没有突然的能力爆发，持续扩散的能力仍要求网络安全等领域提前准备。
- 问题设定：什么才算“跟上前沿” — 01:49 🎧 · ▶️
- 算力、数据、人才与组织能力 — 02:56 🎧 · ▶️
- 中国实验室为何发布开放权重模型 — 04:56 🎧 · ▶️
- 蒸馏能解释多少追赶速度 — 08:35 🎧 · ▶️
- API、服务条款与蒸馏政策 — 12:28 🎧 · ▶️
- 两种商业循环：先发收入与模型所有权 — 16:36 🎧 · ▶️
- 通用推理与领域专用模型的边界 — 23:50 🎧 · ▶️
- 强化学习环境热潮与奖励漏洞 — 28:17 🎧 · ▶️
- Trillium 为何建设开放研究基础设施 — 31:39 🎧 · ▶️
- 让递归自我改进可观察；开放训练如何取舍 — 38:33 🎧 · ▶️
- 智能体协作、能力扩散与风险准备 — 48:19 🎧 · ▶️
💬 他们说了什么：Lisa Lee 从公众不断谈论的“前沿”切入：如果要求开放模型跟上，首先要弄清前沿究竟由什么构成。她请 Lambert 从预训练、中期训练、后训练的变化谈起，而不只比较排行榜名次。
💡 为什么重要：同一模型可能在通用推理上落后，却在特定企业任务、成本或本地部署上更合适。先说明评价口径，才能避免把“没有率先突破”误写成“没有商业或研究价值”。
⚡ 争议点：“前沿”并无单一、稳定的测量方法；基准成绩、真实工作表现、推理成本和安全性可能给出不同排序。
💬 Lambert 将模型进步归结为算力、数据和人才三类投入，但强调把投入组织成有效研发同样困难。他认为 OpenAI 在推理模型与推理时扩展上率先下注，Anthropic 长期聚焦模型能完成的工作，最终受益于编程产品的发展；不同实验室的文化和组织方式影响突破方向。
💡 仅计算 GPU 或研究人员数量，解释不了为何相近资源会产生不同产品。前沿优势还来自选择研究问题、承担早期高成本实验，以及把研究转成可用服务的能力。
⚡ 他对哪些机构真正处于“前沿”的排序，是从外部观察得到的判断；封闭实验室的内部项目、资源配置和未发布成果难以全面比较。
💬 Lambert 认为，对希望进入全球讨论与市场的中国公司来说，开放模型是一种务实的分发策略：相比单纯销售来自中国的 API，公开权重更容易获得关注和采用。他预计市场可能分成率先提供最强能力的闭源服务，以及稍后跟进、服务不同需求的近前沿开放模型。他还指出，先行实验室培育的数据供应链，可能在合同窗口结束后服务更多买家。
💡 开放并不必然意味着放弃商业利益。发布权重可以建立开发者生态，而后进入市场者也能借鉴已经被验证的模型方向，减少探索成本。
⚡ 这是一种商业动机解释，不能概括所有机构；数据能否在后来转售、以什么价格转售，以及开放权重最终如何变现，均取决于具体合同和产品。
💬 主持人提出，开放模型与前沿的发布差距可能已缩至约 2—3 个月，蒸馏是否是主因？Lambert 回答，中国团队技术能力很强，主要短板是算力；他转述一个未经独立证实的对照说法：某些 OpenAI 研究人员据称可随时使用约 5000 张 H100 等效算力。他承认，取得强模型输出相当于间接利用其计算成果；但旧式以教师答案进行监督微调的经验，不能直接套到如今更依赖推理能力和强化学习环境的后训练上。
💡 要解释追赶，必须区分取得模型输出、学到推理轨迹、构建训练环境和完成有效强化学习等环节。Lambert 特别强调提示词与任务分布：有高质量答案，却没有合适问题和训练流程，未必能复制能力。
⚡ 有关可用算力和追赶时间的数字均为谈话中的转述或估计，不是统一口径的审计结果。蒸馏贡献的大小，也会随任务和训练方法而变。
💬 Lambert 一方面提到智能体访问、海量模型调用，以及获取推理过程用于训练的疑问；另一方面认为，现有公开研究尚不足以证明蒸馏解释了大部分能力进步。他赞同实验室若要保护产品，可以调整 API 与产品访问方式，却不赞成轻率地把服务条款争议升级为政府行动。主持人还转述了将产品被拆解研究视为竞争的观点。
💡 技术、合同与政策是三件不同的事。限制 API 可能改变蒸馏成本，同时影响客户、开发者生态及开放模型受益者；政策判断不能只看一种竞争损失。
⚡ 他提及的具体智能体使用和产品供给情况，需要分别核实；服务条款的法律效力也不能凭播客中的即兴判断定论。承认竞争具有正面作用，并不等于所有获取输出的方法都合规。
💬 Lisa Lee 为前沿实验室提出最强版本的商业论证：巨额算力投入支撑领先模型，领先带来收入和融资，收入再支持下一轮研发；过快复制可能威胁这一循环。Lambert 则说，开放模型生态的建设者、推理服务商和后训练公司彼此分离，客户反馈与收入不易返回基础模型团队，因此商业化更慢；但客户最终可以获得权重控制权、在自身硬件上运行，并围绕私有数据计算投入回报。
💡 这是“更早提供最强服务”和“更晚取得可控资产”的区别。拥有不能交给外部 API 的数据时，企业对自主部署和定制模型的需求可能足以支撑另一条价值链。
⚡ 前沿领先所创造的利润能持续多久、开放部署的总成本是否真的更低，都不能从模型标价直接推断，还要计入评测、微调、运维与组织能力。
💬 主持人提出张力：更强的通用推理可能连数学等专业领域也一起提升；但针对明确任务微调的较小模型，或许已“足够好”且便宜。Lambert 区分数学、代码这类更容易验证成果的任务，与医疗、法律等难以直接判定答案质量的领域。他认为后者的进步仍高度依赖购买高质量数据、设计模型可行动的环境，而非单凭通用能力突然泛化。
💡 选型不该只问哪个模型最聪明，还应问任务是否可验证、错误代价多高、专有数据是否可用，以及新增能力是否值得新增成本。
⚡ 主持人引用的具体产品案例，在这里更适合作为任务成本权衡的线索，而非开放模型已普遍超过前沿模型的证明。Lambert 关于领域进步来自数据的判断也需要更多可复现实验支持。
💬 实验室大量采购强化学习任务环境，Lambert 认为这说明环境确实产生训练信号，但供应链仍很粗糙。他举例：若本应包含迷宫的测试文件实际上为空，模型可能寻找取得高奖励的捷径，而不是学会导航。他也提到，以语言模型生成或改写场景、再由人指导筛选，依然属于合成数据流程；采购规模大不代表数据有 100% 的有效率。
💡 环境的错误会进入模型行为。奖励漏洞不仅是研究论文里的抽象现象，也可能由商业采购、外包交付和验收不足共同制造。
⚡ 播客没有提供可核查的全行业采购总额或环境缺陷率。“数据质量差”是嘉宾的观察，不能据此断定所有供应商或训练项目都存在相同问题。
💬 Lambert 计划让 Trillium 制作并发布高杠杆任务的开放环境。他描述一种终端任务流程：用前沿模型生成多样化问题，通过模型运行找出漏洞，再人工检查数据点。建设良好环境可能花费数千至数万美元；他开玩笑说，某些数据或许能卖到约 100 万美元，但公开环境、训练轨迹和模型行为记录能让更多研究者检验奖励漏洞、情境感知等问题。他还解释机构名称取自春季林下短暂开放的花，寓意在生态成长前提供养分。
💡 可重复使用的环境与轨迹，是开放研究的公共基础设施；它让没有商业数据采购预算的学生和研究者，也能检查模型究竟学会了什么。
⚡ 公开不等于自动获得高质量贡献。Lambert 指出，AI 工具也使仓库收到未经认真核查的议题和所谓研究发现；开放项目仍需要审查与维护资源。
💬 面对“AI 正被用来改进 AI”的神秘感，Lambert 希望 Trillium 记录研究任务、所用模型与工具、计算配置、执行轨迹，以及模型成功或卡住的地方，并随时间重新检查变化。他认为预训练工具与基本方法相对可获得，不必花 10 亿美元才能做出有用的基础模型；但把中期训练、推理能力塑造和智能体后训练接成可靠流程，更依赖人才与快速实验循环，因此 Trillium 把更多注意力放在这里。
💡 记录真实任务比宣称“研究者即将被自动化”更可检验。它还能帮助政策制定者区分模型已经承担的工作、仍须人工判断的环节，以及失败是否正逐步减少。
⚡ 一家开放实验室的任务分布不能代表所有前沿实验室；公开实验也不能直接推算最封闭、资源最多机构的自动化水平。预训练“可以进入”和“足以长期与最强模型竞争”同样不是一回事。
💬 对上千乃至上万智能体协作的设想，Lambert 判断前沿实验室可能先探索协调方式，但开发者需要不同的智能体运行框架，开放模型也有机会随后适配。他不认为现有证据足以确定模型会很快自行构建下一代模型、造成突然且不可追赶的能力跃升：持续进步仍需大量推理计算与人类工作。不过，他尤其担忧模型能力不断扩散，而公共网络安全等准备明显不足。
💡 算力需求可能限制快速跃升，却不会自动消除渐进式风险。即便开放模型始终晚一步，先在封闭模型出现的能力也可能随后扩散，社会准备需要按这一过程规划。
⚡ 未来训练规律、智能体协调的收益，以及新架构能否改变资源约束都未确定。Lambert 的立场是反对把“快速起飞”当作既成事实，不是断言前沿模型没有危险。
- Nathan Lambert：本集嘉宾；曾参与 AI2 的开放模型工作，现创办非营利研究机构 Trillium，主张建设开放训练环境并记录 AI 辅助研究的实际过程。
- Lisa Lee：本集主持人、a16z 合伙人；持续追问开放模型的追赶能力及其对前沿实验室商业循环的影响。
- OpenAI、Anthropic：谈话中的主要闭源前沿实验室；分别被用于讨论推理模型、编程应用、投入规模与先发优势。
- AI2：Lambert 谈及其开放模型及后训练经验的机构。
- 中国开放模型实验室：讨论中的一类竞争者，并非技术路线和动机完全相同的单一组织。
- Trillium：Lambert 的新机构；本集所述计划集中在开放环境、训练工具及可观察的研究工作流。
以下为依据英文谈话所作的中文意译，并非逐字中文发言。
“模型进步取决于投入其中的几种资本：算力、数据和人才。”——Nathan Lambert
“提示词是后训练的关键单位。”——Nathan Lambert，回顾在 AI2 的工作经验
“让人们看到：我请模型做了什么，它又卡在了哪里。”——Nathan Lambert，谈公开 AI 辅助研究过程
“不担忧快速起飞，并不意味着不担忧风险。”——Nathan Lambert
- 把模型比较改成任务比较：采购时可以同时评估任务完成率、人工复核时间、错误成本、延迟、数据边界和单位任务成本。这样才能检验“较小开放模型已足够好”是否真的成立。
- 开放权重与开放研究并不相同：能够下载权重，不代表能够复现数据、训练配方和能力形成过程。Lambert 倡议公开环境与轨迹，正是要补足后者。
- 商业价值的流向值得单独追踪：开放生态的基础模型作者、服务商与微调商可能分别获得客户信号和收入；理解这种分工，比笼统询问“开源能否赚钱”更有用。
- 公共评测可以检查训练环境本身：除测试最终模型，还可审查任务是否有漏洞、奖励是否符合真实目标，以及合成数据筛选过程能否复核。
- “模型帮忙做研究”是连续变量：写脚本、排查错误、降低推理服务成本，与独立选择研究方向、验证新理论，不应被合并成一个自动化百分比。
- 追赶窗口和算力差距：节目中的“约 2—3 个月”及“5000 张 H100 等效算力”分别属于主持人估计与嘉宾转述；需要明确模型、日期、人员和资源统计口径。
- 蒸馏的实际贡献：公开研究不足以给出各模型训练数据的完整分解；既不能据猜测把进步全部归于蒸馏，也不能据公开材料排除未披露的使用。
- 具体公司与智能体访问的说法：涉及产品如何提供其他模型、模型输出如何被获取的提及，需查阅当事方说明及独立证据，避免将访谈疑问写成已证实事件。
- 环境采购的金额与质量：嘉宾描述了高额预算和粗糙供应链，但没有提供可供统一核算的行业账目或缺陷率。
- 未来能力路径：现有扩展规律是否继续适用、智能体协作能产生多大收益、新架构是否改变计算约束，都属于开放问题。
- 企业选型者：用自有、可复核的任务集对比前沿 API 与开放模型；将数据治理、复核成本和长期部署成本一并纳入决策。
- 模型与智能体团队：对强化学习环境做漏洞测试和人工抽查，保存任务、奖励、模型轨迹与版本记录，不只汇报最终分数。
- 研究者：发布可复用的环境、失败案例和评测说明；引用追赶速度或蒸馏效果时，注明证据范围与不确定性。
- 政策与安全团队：分别准备快速能力变化和渐进扩散两种情景，优先盘点网络安全等已有能力可以触及的薄弱环节。
