0:00 / --:--
The Cognitive Revolution · 10 月 10 日
Eric Bigelow 通过逐 token 重采样实验证明，语言模型的关键决定并非藏在完整思维链里，而是在采样过程中某个 token 改变后续上下文、令答案概率骤然转向时形成。
语言模型的关键决定，可能并非早已藏在一条完整的「思维链」里：某个被采样出的 token 会改变后续上下文，让答案概率骤然转向；而随着推理过程越来越难读，理解这种转向需要同时研究行为分叉和模型内部表征。
这集还没有学习卡。生成后会保存在这一集，下次直接打开。
Latent Space· 2026-10-02学术界是为有雄心的人准备的——MIT 的 Alex ZhangAcademia is for Ambition — Alex Zhang, MIT同主题：前沿模型能力
Dwarkesh Podcast· 2026-09-11AI 研究人员辩论我们距离递归自我改进还有多远AI researchers debate how close we are to recursive self-improvement同主题：前沿模型能力
No Priors· 2026-09-18为什么扩散模型会赢得 AI 推理竞赛——与 Inception 联合创始人兼首席执行官 Stefano Ermon 对谈The Cognitive Revolution
How Agents Decide: Goodfire's Eric Bigelow on Critical Tokens, Phase Shifts, & In-Context Learning
YouTube
音频
主持人此前与 Apollo Research 研究者讨论思维链监测时，得到一个棘手印象：即使读完智能体此前的推理文字，也未必能预测它最后会采取哪项行动。本集于是把问题缩到一个具体瞬间——当模型写到「所以答案是……」，下一个 token 如何成为转折点？
Eric Bigelow 的研究从行为实验切入：固定一条推理链的不同前缀，从每个位置重新生成多条后续文本，观察最终答案的分布怎样变化。他同时借鉴认知科学，研究模型在阅读故事、生成推理和接收对话上下文时如何更新表征。访谈的背景是：智能体正被交付更多实际任务，但公开可读的推理文字、可访问的模型权重，以及理解两者关系的工具，并没有同步跟上。
这集最有价值的地方，是把「模型为什么这样决定」拆成了两个不能混为一谈的问题：给定当前上下文，模型为何形成某种下一 token 分布；以及从这个分布采样出具体 token 后，后续路径为何发生变化。Bigelow 的逐 token 重采样实验显示，答案概率有时平稳演进，有时却在一个词、甚至左括号处陡然改写。采样不是对既定答案的简单包装，因为新生成的文字又会进入上下文，成为模型继续推理、维持自洽的依据。
这也解释了他为何把「上下文学习」理解得远比 few-shot 示例宽：阅读一段故事、与用户往返、写下自己的中间想法，都在动态改变模型接下来的行为。由此，他倾向于认为记忆、提示组织与 agent harness 会在近期比逐用户微调更重要。但旧实验不能原封不动套到新推理模型上：后者可能先铺开多条候选路径，再回头选取结果；强化学习还可能把推理文字推向人类难以辨认的方言。Bigelow 因而既不主张只靠思维链监测，也不把每次突变都解读为模型内部存在一个可定位的「决定神经元」。他的研究路线更务实：用重复采样找到行为分叉，再以内部表征、统计近似和干预实验追问机制；最终让产品向用户呈现有意义的不确定性，而不只给出一段看似笃定的答案。
💬 他们说了什么：Nathan 从一个监测难题引入：研究者即使能看到模型内部生成的思维链，仍可能无法判断它最后为何选择某个行动。他请 AI 检索「关键 token 如何被选择」的研究后，找到了 Bigelow 的工作。节目因此不满足于问模型「说出了什么理由」，还要问答案出现前的概率与采样过程发生了什么。
💡 为什么重要：如果行动权限越来越多地交给智能体，可读的推理文本就不能未经检验地充当决策记录。找到改变后续行为的具体位置，是进一步追问机制与设计监测方法的起点。
⚡ 争议点：逐 token 生成并不意味着每一步都毫无规划；反过来，一段连贯的事后解释也不能证明模型早已确定结论。访谈试图研究的，正是这两种过度简化之间的空间。
💬 Bigelow 介绍《Forking Paths in Neural Text Generation》：在一条推理链的每个 token处固定前缀，分别重新采样约 30 条后续推理，再统计它们落到哪些最终答案。有些位置之前，答案仍分散在几个选项之间；过了某个 token，分布突然集中。直观的转折可能发生在首次写出答案时，意外的转折也可能发生在「kilowatt-hours（kWh）」附近的左括号上。他因此强调，具体采出的文字会被模型再次读入，影响后续生成。
💡 这种实验测的是「从此刻继续生成，可能走向哪里」，而不只是一条已经完成的推理链。它让研究者能够定位行为上真正敏感的前缀，并区分看似关键的措辞与实际改变答案分布的 token。
⚡ 左括号与答案变化相关，不等于括号本身承载了可用人类语言解释的理由；它也可能触发了训练语料里的复杂关联。实验使用的是较早的 GPT-3.5 系列模型，Bigelow 明确提醒：现代推理模型的变化可能更平滑，不能把旧结果当作所有模型的普遍定律。
💬 Bigelow 不把「上下文学习」限于给模型几个输入—输出示例。只要权重未变、行为却随新读到或新写出的文本调整，就属于他关心的动态过程：读故事时更新人物关系和情绪判断，聊天时吸收先前信息，推理时依据自己刚写下的步骤继续思考。他认为，汇总很多任务得到的平滑曲线，可能遮住单个问题里突然出现的变化。
💡 这使提示词、对话记忆与模型自己的推理文字成为同一研究问题的不同场景：上下文怎样不断改变内部表征？要看清某个问题的「地形」，研究者可能需要对同一输入反复采样，而不只是搜集更多不同输入。
⚡ 这个宽定义有解释力，却也容易把多种机制统称为「学习」。上下文引起的暂时表征变化，与修改权重后的长期学习，并非同一件事；仅凭输出曲线也难断定内部具体如何更新。
💬 Nathan 假设未来每个人都拥有持续微调的专属模型，问解释工具是否会失效。Bigelow 认为，关键不在模型副本的数量，而在微调是否大幅重组内部表征：即使基座模型被改给 10 个或 1000 万个用户使用，只要许多概念结构仍共享，探针等工具或许只需局部适配。他的近期判断则是，个人化更可能先依赖记忆、上下文组织与 agent harness，而非为每个人深度修改权重。
💡 如果个人差异主要进入可检查的上下文，研究者仍可围绕少数基础模型建立工具，再研究不同记忆如何改变行为。这也是他持续关注大型基础模型、而不是把解释工作平均分散到无数个人模型上的理由。
⚡ 这是一项条件性的预测，不是持续学习已被证明「容易解释」。若未来架构或训练方式真的令表征大幅重排，工具迁移就要重新检验；可读的记忆内容也不保证模型使用记忆的方式同样透明。
💬 Bigelow 将早期广泛的文本续写分布，与指令微调、RLHF 后更集中的聊天输出作比较。他观察到，有些经过大量后训练的小模型，在开放式故事提示下反复落入相似情节；现代推理模型则可能反复枚举候选解法，再从已经写出的候选里选取一个。以 DeepSeek R1 输出为例，他提到单条推理链里可能出现 50 次以上的「wait」式转向，提醒听众不要把每一次都当成一次清晰、独立的顿悟。
💡 新模型的多样性可能部分转移到用户看不见或不易理解的推理过程里。因此，研究「最终答案为何是这个」时，既要看答案附近的采样，也要看此前候选路径如何被生成和使用。
⚡ Bigelow 承认，对前沿模型输出多样性的判断有些仍是观察印象，尚需大规模系统采样。他也不知道部分闭源 API 当前的具体采样参数；「参数被隐藏主要为了防逆向工程」是他的推测，而非已确认的厂商解释。
💬 选模型要兼顾可研究的真实行为与计算成本。Bigelow 认为，约 70亿—80亿参数及以上往往是一个实用起点：模型已能在零样本任务中表现出足够丰富的行为，实验又比研究更大模型便宜。更小的模型适合简单任务或研究训练动力学，但可能与目标中的前沿行为相差太远。他也谈到利用大型开放权重模型研究编码智能体、奖励投机等更接近前沿的问题；即使 Goodfire 有资源，长时间占用数百张 GPU仍须权衡研究价值。
💡 解释性结论取决于研究对象是否真的具有目标行为。选择一个容易拆解、却不会出现相关行为的玩具模型，未必能回答智能体决策问题；反过来，只研究昂贵的最大模型，也会压缩实验迭代和重复验证的机会。
⚡ 开放权重模型与美国闭源模型有相似训练材料和能力，不代表内部机制可直接等同。访谈转写中若干模型名称、版本和音译尤其容易出错；涉及特定版本性能或发布时间的说法，应对照模型公告及原始论文核实。
💬 Bigelow 的哈佛心理学博士研究题目是《Towards a Cognitive Science of Large Language Models》。这一段把语言模型作为认知科学研究对象来讨论：不只比较它们与人类答题结果是否相似，还追问它们如何随情境调整、形成可供预测行为的内部状态。故事阅读与信念更新，是他用来连接行为测量和内部表征的一类任务。
💡 认知科学提供了研究「信念」「推断」「适应」的概念；语言模型则让研究者可以读取激活、重复相同情境、干预内部状态。这种双向借鉴有望检验某些认知理论究竟描述了计算机制，还是只拟合了外部行为。
⚡ 把模型当作可研究的认知系统，不等于断言它拥有人的体验、理解方式或道德地位。人类实验与模型实验的差别也是优势和限制：能做精细干预，并不自动保证模型结论可外推至人脑。
💬 Bigelow 借贝叶斯认知科学讨论「信念」：一个系统可以用已有的潜在概念解释新信息，并随证据调整权重。但他的分叉实验里，「不确定性」有一个更窄的操作定义：从某个推理前缀继续采样，若约 50% 的后续得到答案 A、50% 得到 B，就称该位置的最终结果分布不确定。这不表示模型此刻已在内部完整表征了所有未来推理链。他说，直接从隐藏状态解码完整的后续答案分布并不容易，原因可能是数据不足，也可能是模型本就没有预先算出全部路径。
💡 这一区分防止把研究者通过多次运行估出来的分布，误当作单次运行中模型明确「知道」的概率表。下一步问题因此变得具体：隐藏状态能预测多远的后续行为？能否利用这些预测指导采样或预警分叉？
⚡ 难以解码不等于内部不存在相关信息；高质量的重采样数据本身就昂贵。类似地，行为看似符合贝叶斯更新，也不能单独证明模型在内部执行了某种特定的贝叶斯算法。
💬 主持人追问：答案概率的突变通常发生在相关推理步骤之前，还是之后？Bigelow 说两者都有，也会发生在中间；较早研究中，序列开头和结尾较常出现分叉，但任务差异很大。有时模型一直难以区分答案，直到写出「答案是……」才收敛。他认为，只要同时希望输出多样且每条路径自洽，分叉可能难以消除；更可取的是在产品界面标出语义层面的替代路径，而不只显示单个 token 的概率。他还介绍用统计模型区分平滑区间与跳变点，以降低反复采样的成本。
💡 一段流畅答案可能只是诸多合理续写中的一次实现。若界面能提示「这里若沿另一条路径，结论会不同」，用户就更容易判断何时复核、继续提问或索取替代分析。
⚡ 「相变」描述的是测得的答案分布突然变化，不能直接证明内部计算也在同一瞬间突变。界面若只展示未经校准的概率或任意分叉，又可能制造精确性的错觉；计算成本也是实际部署障碍。
💬 Bigelow 认为，如果强化学习主要奖励最终结果，训练目标未必会维持中间推理的人类可读性；模型间的信息交换也可能逐渐形成压缩、古怪的「方言」。但若直接奖励「思维链看起来便于监测」，又可能得到表面合理、实际不忠实的文字。他说自己过去更看好思维链监测，如今更担心其局限；与此同时，显式 token 流毕竟仍提供了一层可研究材料，而潜在空间推理可能让这层材料进一步减少。
💡 安全监测不能只问「有没有思维链」，还得问它与实际计算、行动选择之间有什么可验证的关系。研究可读文本的演变、比较行为与内部状态、设计不依赖单一文字通道的检测，是相互补充的工作。
⚡ 难读不等于必然存在欺骗，也不等于每段可读文字都没有监测价值。访谈对特定模型的子智能体语言、外流思维链等例子的描述，部分依赖自动转写及外部材料；具体案例应另查原始公开证据，不能仅凭本集推定机制。
💬 Bigelow 建议使用 Silico 等研究智能体时，不要只丢给它一个开放问题，然后等图表和结论自动出现。应交代目标、已有证据、哪处结果不对劲以及为什么；运行过程中持续检查。他说《Forking Fast》的研究工作由 Silico 执行，约在一周内大幅推进，但决定追查哪些岔路、看到高采样曲线后想到用统计模型提高效率，仍需要人的研究判断。他将智能体比作能力强、勤奋，却未必掌握全局研究脉络的早期博士生。
💡 自动化能扩大实验量，却也会更快地产出貌似可信、实际解释薄弱的结果。人的角色从亲手完成每一步，转向明确问题、识别反例、判断哪些发现足以组成可靠的科学论证。
⚡ 「研究工作由智能体完成」不等于论文无需人的设计、选择和核验。实验可复现性、数据处理是否正确，以及失败的支线是否被充分记录，都需要独立检查。
💬 Bigelow 说，Goodfire 内部的两个突出方向，是让智能体协助可解释性研究，以及更深入地研究对齐问题。他提出一组既理论又实证的问题：模型「目标」与「意图」该怎样定义？行为符合奖励规则却违背设计者本意时，何时算奖励投机？如何测到真正危险的行为，而不只是普通的泛化失误？他也主张把行为评估、内部表征研究和更高效的监测工具视作相连的研究谱系。
💡 如果 AI 要承担更重要的操作与认知工作，「发现异常」和「解释异常为何发生」就不能长期脱节。自动化实验有望提高研究速度，但安全判断仍须落实到可测量、可复核的现象。
⚡ 对齐并不存在节目中已经确定的单一标准；个人、公司、政府对期望行为可能有不同要求。访谈提及的具体安全事件及 Goodfire 的方向变化，应以相关机构的一手披露核实，而不能只据谈话判断其影响范围。
以下为依据英文转写的中文意译，不是逐字引语：
「决定很大程度发生在采样之时；而采出的 token，又会成为模型接下来学习的上下文。」——Eric Bigelow
「如果我们希望模型既能产生不同结果，又让每条路径自洽，分叉或许就是难以避免的性质。」——Eric Bigelow
「我希望用户知道模型何处可能急转弯，而不是只看到急转弯之后那句确定的答案。」——Eric Bigelow
「研究品味价值千金：智能体可以跑实验，但人仍要判断究竟发现了什么。」——Eric Bigelow
同一个答案，可能需要两张「地图」。一张是行为地图：从某个前缀重跑，答案会怎样分布？另一张是机制地图：哪些内部表征或计算使该分布形成？只看前者会停在相关性，只看后者而缺少行为验证，也可能解释了一个与实际决策无关的信号。
自洽可能放大偶然性，而非消除偶然性。一次早期采样若引入某个假设，后续文本可能围绕它形成连贯论证。最终答案越流畅，越需要区分「推理支持该假设」与「推理沿着已写出的假设保持一致」。
不确定性界面应关注语义后果。token 候选概率适合研究生成细节；用户真正需要的，往往是「若改走另一条可信路径，结论、证据或行动会如何不同」。这要求可靠的替代路径估计，而非给答案随手附上一个置信度数字。
监测思维链面临目标冲突。奖励最终任务成功，未必保留人类可读的中间步骤；奖励中间步骤「看起来可读」，也未必增加其忠实度。因此，可监测性最好通过行为预测能力和干预结果检验，而不是通过文风评估。
模型选择本身是一种研究设计。较小模型让高密度采样与干预成为可能，较大模型则更可能呈现目标中的复杂智能体行为。先确认现象存在，再决定要以何种规模追究机制，比机械地追求最大或最小模型更稳妥。
