走进模型工厂——Eiso Kant，Poolside AIInside the Model Factory — Eiso Kant, Poolside AI

播出信息

• 播出日期：2026-07-22
• 嘉宾：Eiso Kant，Poolside AI 联合创始人
• 主持人：Swyx、Vibhu
• 场合：Latent Space 播客访谈
• 主题：Poolside 的早期历史、开放权重与开放研究、模型工厂、训练数据流、科研可复现性、强化学习瓶颈、小模型、工程生产力与招聘
• 录制线索：Eiso 在节目后段说“今天是 7 月 15 日”，因此这应是录制日期线索；用户给定的正式播出日期为 2026-07-22。
• 音频标称时长：约 6112 秒，即 1:41:52。
• 材料完整性说明：用户提供的英文转写在约 30 分钟后出现“中段省略”，后续又从约 1:36 恢复；因此本笔记不会把时间提示中的标题扩写成未经转写正文支持的技术结论。

背景

Eiso 进入代码模型领域的直接刺激，是 Andrej Karpathy 2015 年的文章《The Unreasonable Effectiveness of Recurrent Neural Nets》。他读完后几乎连夜调整创业方向，开始研究 RNN、LSTM，后来转向 Transformer，希望让神经网络生成代码。当时这些方向尚未成为行业热点，他和约 40 人的团队持续投入四五年，最终失败，并消耗了投资人约 1200 万美元。

ChatGPT 发布后，这段失败经历获得了某种“迟来的验证”。Eiso 随后与联合创始人 Jason 创办 Poolside，其早期判断有两点：模型能力会持续复合增长；强化学习将成为 LLM 能力提升的重要驱动力。Poolside 没有从既有大实验室中分拆出来，而是从论文、训练代码和基础设施开始自行摸索。

Poolside 自始就是一家美国公司，但早期有意不把研究招聘局限于湾区，而是在美国中部、西雅图、塞尔维亚、台湾、新加坡等地寻找人才，并建立远程团队及巴黎、伦敦等办公室。Eiso 将这种全球招聘选择与公司的工程文化联系起来：它初期可能拖慢了速度，却迫使团队从头建立训练直觉、基础设施和解决问题的韧性。

Poolside 后来重新考虑开放路线，并非因为已经解决了商业模式、安全或监管问题。Eiso 明确承认这些仍是开放问题；真正推动决策的是他不愿看到未来所有“智能生产”集中在三四家或五家公司手中。他宁愿生活在有 100 家基础模型公司的世界，即使自己本可成为寡头中的一家。

由于提供的转写中段缺失，本文只使用现有转写正文与明确给出的时间锚点，不补写 Poolside 的融资金额、完整模型规格、基准分数或被省略部分的具体论证。凡涉及材料缺口，均在“争议与需核实”中单列。

总结分析

这期访谈的真正主角并不是某一个 Poolside 模型，而是模型背后的生产系统。Eiso 用两段创业经历说明：早期团队并非方向全错，而是没有及时理解持续扩展规模的重要性；今天 Poolside 则试图避免另一种错误——把训练模型当成低频、英雄主义式的大项目，而非可以持续迭代的工业流程。其“模型工厂”把原始数据清洗、流式供数、分布式训练、后训练、强化学习、评估、版本控制与实验追踪接成统一系统，核心指标是研究想法到可信实验结果、再到下一次训练的日历时间。正因如此，团队声称可以每月裁剪或运行远超 1 万次、约 1 万至 2 万次实验，并把模型从启动训练到发布压缩到五周或八周。

这套系统也在改变研究者的工作方式：智能体已经开始写代码、发起训练任务、读取结果并修改实验，尤其深入数据、预训练、后训练和合成数据管线。Eiso 把这些现象视为递归式自我改进的早期微光，但同时强调人仍负责提出想法、调试与掌舵。其更重要的科研意义，是把数据视为不可变对象、代码始终版本化，从而实现端到端追踪和近乎完美的可复现性，让高频实验不至于沦为无法解释的“YOLO runs”。

在战略层面，Poolside 将开放权重与开放研究区分开来：权重可以被使用和修改，却不足以让外部团队重建模型生产过程；真正能扩散能力的是实验、失败经验、系统方法和研究报告。争议也由此产生：开放模型如何赚钱、何时因滥用风险停止发布、政府将如何监管，Eiso 都没有给出最终答案。节目后段进一步把竞争瓶颈从 GPU 总量转向日历时间，尤其指出 RL 受任务数量和 batch size 限制，无法像预训练一样简单堆叠更多 GPU。最终，无论训练系统还是工程组织，Eiso 的统一尺度都是：从有价值的想法到交付结果，需要多久、经过多少人，以及个人是否拥有足够强的行动力。

节目结构 / 议程

1. 从 Karpathy 的 RNN 文章到代码语言模型 — 00:00 🎧 · ▶️
2. 1200 万美元失败与 ChatGPT 的“vindication” — 02:26 🎧 · ▶️
3. 从封闭竞赛转向“100 家基础模型公司” — 03:39 🎧 · ▶️
4. 开放权重不等于开放研究，全球团队也不等于欧洲公司 — 09:22 🎧 · ▶️
5. 模型构建“90% 是工程”：模型只是工厂的产物 — 16:04 🎧 · ▶️
6. 智能体进入模型工厂：RSI 的“微光”出现在哪里 — 20:19 🎧 · ▶️
7. 流式数据与可复现性：从高效工程走向严谨科学 — 24:04 🎧 · ▶️
8. 预训练、强化学习与低精度：中段结论需谨慎处理 — 43:01 🎧 · ▶️
9. 代码智能体、工具、多模态与训练经济性：可确认内容与缺口 — 58:37 🎧 · ▶️
10. RL 的硬件瓶颈：问题不是“再加 GPU” — 93:53 🎧 · ▶️
11. 小模型、蒸馏、生产力与高行动力组织 — 101:52 🎧 · ▶️

分节详解

1) 从 Karpathy 的 RNN 文章到代码语言模型 — 00:00 🎧 · ▶️

💬 他们说了什么： Eiso 刚抵达旧金山，带着明显的时差参加录制；Swyx 认为，真正每天在前沿工作的人，即使没有过度准备，随口回忆的内容对听众也可能很新。Eiso 追溯到 2015 年 Karpathy 的《The Unreasonable Effectiveness of Recurrent Neural Nets》，称自己读完后“连夜”改变创业公司的方向。文章中的字符级语言模型、Paul Graham 风格生成器、莎士比亚文本和代码示例，让他相信神经网络可能泛化到语言、智能与代码。他随后深入研究 RNN、LSTM，并在 Transformer 出现后继续沿着代码模型方向发展。其公司 Sourced 是一家完全开源的公司，目标是研究当时所谓的“machine learning on code”或“language models on code”。团队在这一方向上持续到 2019 年底，前后约四五年，但当时市场和行业几乎无人关心。

💡 为什么重要： 这段历史说明，Poolside 并不是 ChatGPT 热潮后才临时进入代码模型赛道，而是建立在一次长期、失败却高度相关的技术探索之上。它也解释了 Eiso 为何同时重视技术直觉与实验验证：方向正确不代表路径、规模和时机正确。

⚡ 争议点： Eiso 把 Karpathy 的文章视作后来语言模型的先声，但早期字符模型与现代大语言模型之间仍存在巨大工程与方法差异。节目没有给出 Sourced 当时模型规模、数据量或具体性能，无法独立评估其技术接近程度。

2) 1200 万美元失败与 ChatGPT 的“vindication” — 02:26 🎧 · ▶️

💬
早期团队尝试过把卷积神经网络用于代码结构，也在注意力机制出现后将其应用到 LSTM，随后跟进 Transformer。Eiso 的复盘是，他们大方向可能没有错，真正错过的是“继续扩大规模”；今天看似显而易见的 scaling laws，在当时并不显然。他把这次经历称为自己职业生涯最大的失败：约 40 人投入数年，烧掉投资人 1200 万美元。此后家庭成为重点，他有约两年没有认真关注语言模型，而那两年后来被证明是非常关键的时期。ChatGPT 出现后，旧同事或熟人开始给他发消息，他也重新翻出过去的工作材料和演讲稿，将其视作一种迟来的验证。

💡
这里区分了“技术判断最终成立”与“创业项目成功”两件事。Poolside 后来的高频训练、缩短反馈周期和强调日历时间，很可能正是对上一段经历中漫长、低反馈节奏的反作用。

⚡
“如果当时只需继续扩大规模就能成功”属于事后判断，转写没有提供足够实验记录证明这一反事实。1200 万美元被描述为失败成本，但没有拆分其中的研发、人员或算力支出。

3) 从封闭竞赛转向“100 家基础模型公司” — 03:39 🎧 · ▶️

💬
Poolside 创立时基于两项判断：第一，模型能力不会停止复合增长；第二，强化学习会成为 LLM 能力增长的最大驱动力。Eiso 说，三年多以前许多人仍在争论模型是不是“随机鹦鹉”，而 RL 也不是 OpenAI、Google、Anthropic 等机构普遍公开坚持的方向。Poolside 没有从现有实验室中分拆出来，而是自行阅读论文、写代码、建立知识体系。公司最早的公开目标很直接：迈向 AGI、支持一个富足世界，并成为首先抵达的公司。到访谈当年年初，Eiso 和联合创始人 Jason 重新讨论开源问题，因为他们越来越不安于未来由三四家或少数公司生产全部智能的路径。Eiso 最终给出的价值判断是：即使自己可能成为五家之一，他仍宁愿生活在拥有 100 家基础模型公司的世界。

💡
这不是单纯的许可证策略，而是关于智能供给结构的政治经济判断。开放研究和开放权重被视作降低新基础模型公司进入门槛的手段，从而扩大选择、竞争和信任来源。

⚡
Eiso 明确承认，开放基础模型的商业模式、滥用风险边界以及政府反应都没有得到完整回答。强调“100 家”能减少寡头风险，也不自动解决安全、质量和责任归属问题。

4) 开放权重不等于开放研究，全球团队也不等于欧洲公司 — 09:22 🎧 · ▶️

💬
Eiso 认为，发布权重是一种相对二元的行为：外部可以使用、修改权重，但仅有权重并不能重建开发者所做的一切。相比之下，分享研究方法、失败经验和通过数万次实验换来的教训，才更可能帮助其他团队复制能力。他也纠正了“Poolside 从法国或欧洲起步”的说法，强调公司从第零天起就是美国公司。Poolside 早期有意不在湾区招聘研究人员，而是到美国中部、西雅图、塞尔维亚、台湾、新加坡等地寻找人才，并形成远程组织，在巴黎、伦敦等地设有办公室。公司首套训练代码不是从开源仓库分叉，而是从头编写；五人左右的早期团队曾花三周排查一个优化器问题。该问题与 Adam 优化器分母中的 epsilon 有关，但 Eiso 已记不清完整 bug，只记得修复后无需像早期 Llama 论文相关配置那样把 epsilon 调得很高。

💡
这一段给出了 Poolside 所谓“开放研究”的具体含义：发布结果只是第一层，外部真正稀缺的是可复用的方法、实验脉络与工程判断。全球招聘和从头建设训练栈，也塑造了团队更强的分布式系统倾向与故障排查能力。

⚡
Eiso 对 epsilon 的具体数值只模糊记得可能是“E minus four or whatever”，不能视为精确配置。关于早期 Llama 训练设置的比较也只是现场回忆，应以相关论文与代码为准。

5) 模型构建“90% 是工程”：模型只是工厂的产物 — 16:04 🎧 · ▶️

💬
Eiso 的核心判断是，模型构建最终“90% 是工程”，因为研究人员的大量时间仍花在看数据和写代码上。三年前常见状态是 Bash 脚本、Slurm、意大利面式训练代码，以及临时拼接的数据管线。Poolside 把整个流程视为工业化生产：从网络等原始材料开始，经过过滤、清洗、变换与分析，再进入分布式训练、后训练和强化学习。公司从第一天起就让强分布式系统工程师进入研究流程，而不是等研究原型完成后再补基础设施。模型工厂由早期少数组件扩展为今天的数千个组件，其核心指标是从研究想法到可信实验结果、再进入下一次模型训练的速度。Eiso 把它类比为 Foxconn 和 SpaceX：单件产品固然重要，但更难、也更有复利的是制造产品的工厂。

团队规模方面，他在这里说 Poolside 少于 70 名研究人员，另有约 35 名工程师；每月实验数量远超 1 万，约为 1 万至 2 万次。Laguna XS 2 从启动训练到发布用了五周，本期讨论的另一模型用了八周；完成当前模型后训练后，算力随即移到更大的 Laguna M。

💡
这一观点把模型竞争从“谁有一次最好的训练”转为“谁能稳定、频繁地生成下一代模型”。在实验科学中，吞吐量只有和可信度结合才有价值，因此实验速度、基础设施可靠性和追踪能力成为研究优势的一部分。

⚡
“90%”是 Eiso 的经验性表达，不是节目中通过工时统计推导出的比例。每月 1 万至 2 万次实验也没有给出实验规模分布，其中可能包含大量小型消融与后训练运行，不能直接等同于完整预训练。

6) 智能体进入模型工厂：RSI 的“微光”出现在哪里 — 20:19 🎧 · ▶️

💬
Eiso 说，一套具备良好 API 和工程系统的模型工厂天然适合智能体使用，而智能体正逐渐接管更多工作。在 Poolside 每月举行的线下聚会中，他走过研究人员的屏幕，看到的默认状态是多个智能体同时运行。智能体会写代码、启动任务、评估模型运行结果并做出修改；人类仍负责提出想法、协助调试并坐在驾驶位。智能体的影响在预训练、后训练和合成数据的数据管线中尤其明显，也开始进入架构侧。Eiso 把这称为 RSI，也就是递归式自我改进可能呈现出的早期“twinklings”，但没有声称系统已经实现自主递归改进。

模型工厂还允许前一天得到实验结果的改动，在新训练启动的最后时刻进入运行，而不需要提前 90 天冻结。Laguna S 据称没有 on-call 事件，Eiso 回忆公司当年也没有发生需要把人叫醒的重大事故；例外是新模型运行的前六小时，常因配置错误或小失误需要干预。

💡
智能体的价值在这里不是独立聊天，而是进入一个可调用、可观测、可追踪的生产环境。只有底层系统足够结构化和可靠，智能体才能从辅助写代码升级为实验闭环中的实际执行者。

⚡
“RSI 的早期迹象”容易被理解为系统已能自主提升自身能力，但转写同时表明人类仍在提出想法和调试。零 on-call 事件来自嘉宾回忆，没有独立事故记录或可靠性指标佐证。

7) 流式数据与可复现性：从高效工程走向严谨科学 — 24:04 🎧 · ▶️

💬
传统做法是先准备和打包训练数据，再复制到训练集群并分发到所有节点；数据一旦修改，就要重新物化、分词、打包、搬运和分发。Poolside 认为这种方式浪费太多时间，因此选择在训练期间按需流式传输数据。Eiso 的理由是，训练作业虽然持续消费 token，但从数据传输角度看，每秒实际所需的数据量并没有大到无法流式处理。团队在训练集群之外建立大数据管线，底层使用 Spark，并将数据送入不同规模的训练或后训练任务。流式方式意味着无需等待整个数据集完全物化，能够更快修改数据处理过程。

Eiso 也承认，Poolside 第一年虽然理解工程必须做好，却尚未理解工程最终应服务于严谨科学，当时存在不少“YOLO ideas”和“YOLO runs”。后来团队将数据视为不可变对象、代码始终版本化，使每个实验都能端到端追踪、重复和比较；他声称甚至能复现两年前的运行。应用研究负责人 Nikolai 从 Yandex 加入后，也推动了更严格的科研文化。技术报告中还提到自动混合器会训练八个小模型，将结果向上扩展，用于选择训练数据组合。

💡
流式供数降低的是修改数据到启动实验之间的等待时间，而不可变数据和代码版本控制解决的是“快而不可信”的问题。两者结合后，高频实验才能形成真正的消融研究，而不是无法追溯的试错堆积。

⚡
“完美可复现”在复杂分布式训练中是非常强的表述，节目没有定义是指标趋势复现、配置复现，还是逐位完全一致。自动混合器的选择标准、扩展方法和误差范围在现有转写中没有展开。

8) 预训练、强化学习与低精度：中段结论需谨慎处理 — 43:01 🎧 · ▶️

💬
给出的时间提示将这一阶段标为“重新发明预训练、RL 与课程设计”，随后还包括低精度训练及从小模型中挤出更多能力等议题。但用户提供的逐字转写在这一位置缺失，因此不能恢复 Eiso 在这一段中的具体论证、实验数字或配方。现有完整片段可以确认的是：Poolside 从创立时就判断 RL 会成为 LLM 能力增长的重要驱动力，而且后段再次把 RL 训练时间称为最大的 wall-clock bottleneck。Eiso 还表示，模型构建是一门高度实验性的科学，初始直觉经常会被实验击败；真正重要的是理解为什么失败，即使有时无法得到完整解释。对于低精度，后段可确认 Poolside 当时仍以 FP8 做 RL，并期待迁移到 Blackwell GPU 后尝试更低精度的方法。

💡
这一段承接了全期主线：训练方法的价值最终要通过更短、更可靠的实验周期来验证。低精度不是孤立的压缩技巧，而是与训练稳定性、吞吐率和日历时间直接相关。

⚡
时间提示本身不能替代缺失的逐字稿，不能据此声称 Poolside 已公开某套完整课程学习或预训练配方。FP8、Blackwell 与更低精度 RL 的关系也只反映嘉宾当时的计划和兴趣，不等于已经完成验证。

9) 代码智能体、工具、多模态与训练经济性：可确认内容与缺口 — 58:37 🎧 · ▶️

💬
时间提示表明，中段讨论扩展到了模型 harness、代码智能体、通向 AGI 的路径、MCP 与传统工具调用、视觉和多模态、模型扩展及训练经济性。但相应正文被省略，无法安全还原“为什么 MCP 和传统工具调用很愚蠢”这一标题背后的限定条件。现有转写中可以确认，Poolside 已让智能体调用内部训练接口、编写代码、发起作业、读取评估并修改实验。也可以确认，Eiso 在组织边界的例子中明确说 Poolside“不是多模态”，并把“专注 RL”作为公司给高行动力员工设定的赛道边界。关于经济性，他反复强调竞争应以日历时间而非 GPU 数量衡量，并称公司是在相对较少的算力和资金下完成工作，也购买了相对较少的外部数据。节目没有在可见转写里量化“相对较少”究竟是多少。

💡
这提醒读者区分节目议题标签与有完整论据支持的主张。即使不依赖缺失部分，智能体必须嵌入模型工厂、组织需要明确研究边界、效率应以周期时间衡量，已经构成一套相互一致的方法论。

⚡
关于 MCP、传统工具调用、视觉、多模态、训练融资和具体经济模型的详细立场，都应回到完整音频或完整官方转写核实。不能仅凭标题中的强烈措辞推断 Eiso 全盘否定这些技术。

10) RL 的硬件瓶颈：问题不是“再加 GPU” — 93:53 🎧 · ▶️

💬
Eiso 希望通用 GPU 与更专用的芯片形成更好的组合，并提到 Groq 的 LPU 和 NVIDIA GPU 这类不同硬件角色。其核心论点是，RL 受到 batch size 约束，而 batch size 又受可用任务数量约束：预训练可以面对整个网络数据，RL 却只有数以百万计的任务，无法无限扩大批量。结果是，RL 不能像预训练那样通过不断增加 GPU 来线性扩展计算。Eiso 对推理系统中把 prefill 与 decode 分配到不同芯片的做法很感兴趣，希望类似分离进入强化学习。Swyx 提到 Etched，并说其数据中心能在物理布局上看到 PD disaggregation，但这种做法要求拥有自己的硬件。

Eiso 直言，目前从训练、SFT 到正式发布之间，最大的日历时间瓶颈是 RL，因为受到 batch size 约束，无法继续靠增加 GPU 加速。他还提到一篇五天前发布的博客，当天是 7 月 15 日；该工作展示了比他们更低精度的 RL。Poolside 当时仍使用 FP8，Eiso 期待迁移到 Blackwell GPU 后继续探索；Swyx 另提到一篇量化消融论文，大致结论是四比特可能是甜点位，但他自己记不清细节。

💡
这把“算力竞赛”的定义从 GPU 库存修正为系统能否把算力有效转化为更短的训练周期。若 RL 的任务并行性不足，拥有更多 GPU 也可能无法同比缩短交付时间，硬件异构和工作负载拆分因此成为关键。

⚡
博客与量化论文都没有在转写中给出名称，无法核实具体实验条件。Swyx 对“四比特甜点位”的表述来自记忆，Eiso 也指出 NVFP4 与一般意义上的四比特并不完全相同。

11) 小模型、蒸馏、生产力与高行动力组织 — 101:52 🎧 · ▶️

💬
Vibhu 询问从较小模型到新模型的经验，并在问题中提到 30B 扩展到 120B、3B 和 4B 推理模型，以及设备端约 20B、30B或单 GPU 上约 100B 等设想；这些数字属于提问背景，不是 Eiso 对 Poolside 配置的完整确认。Eiso 回答，小模型仍有大量潜力可挖，Laguna S 的训练经验可以反过来改善 XS，团队此后也已经发现本可让 S 更好的新方法。较大模型的后训练配方用于较小模型，通常能形成很好的改进和基线；反方向则往往不成立，因为把小模型配方应用到大模型时，大部分配方都要重新思考。Poolside 当前不以蒸馏作为主要发布路径，因为这些模型同时承担研究进展验证和对外发布两种目的。较小模型训练更快，频繁从头训练能帮助团队看清哪些改变真正造成提升；过去每六个月只训练一个更大模型，会把过多改动混成“一锅汤”。

谈到工程生产力，Eiso 将其定义为从发现用户价值、修复缺陷或提出功能，到真正交付结果的 lead time。代码量、PR 和评审等只是领先指标，最终应看价值交付用了多久、涉及多少人；理想状态是时间更短、参与者更少。招聘时，他最看重 agency，因为真正有行动力的人一定会在职业经历或个人项目中留下证据。高行动力团队仍需要共同目标和明确边界，否则组织会退化成无约束的探索算法；Poolside 给出的边界示例是“不做多模态、专注 RL”。招聘规模方面，Eiso 说少于 70 人构建了该模型，研究与工程合计少于 115 人参与整体工作，并强调个人影响力与较小的组织分母。

💡
小模型在 Poolside 体系中不仅是成本更低的产品，也是提高科研反馈速度的实验载体。组织层面同样追求缩短反馈回路：让单个建设者更接近客户和交付结果，在清晰边界内最大化个人行动力。

⚡
提问中出现的 30B、120B 等数字不应自动视为 Poolside 官方模型参数确认。少于 70 人、少于 70 名研究人员加约 35 名工程师、总计少于 115 人等说法口径略有差异，需要区分“直接构建模型者”“研究人员”和“广义参与者”。

人物与机构

• Eiso Kant：Poolside AI 联合创始人；曾创办 Sourced，长期研究代码上的机器学习与语言模型。
• Jason：Eiso 提到的 Poolside 联合创始人；与其共同重新讨论公司开放路线。
• Swyx：Latent Space 主持人之一，负责历史、工程生产力与招聘等问题。
• Vibhu：主持人之一，重点追问模型报告、训练系统、小模型、蒸馏与监管问题。
• Andrej Karpathy：其 2015 年 RNN 文章直接推动 Eiso 转向代码语言模型。
• Nikolai：Poolside 应用研究负责人，来自 Yandex，推动更严格的科研与实验文化。
• Poolside AI：美国基础模型公司，采用全球招聘和远程组织方式，强调代码、RL、开放权重与开放研究。
• Sourced：Eiso 早期的完全开源公司，曾投入多年研究代码语言模型。
• OpenAI、Google、Anthropic：Eiso 用来说明三年前行业对 RL 与模型能力增长判断尚未形成共识的机构。
• Yandex：Nikolai 加入 Poolside 前所在机构。
• NVIDIA：GPU 与 Blackwell 平台提供者，是后段低精度 RL 和硬件讨论的核心机构之一。
• Groq：被用于举例专用 LPU 与通用 GPU 的潜在组合。
• Etched：Swyx 提及的数据中心与 PD disaggregation 案例。
• Foxconn、SpaceX：Eiso 用于解释“产品不如生产产品的工厂更关键”的类比对象。
• AWS、Spark、Slurm：分别出现在基础设施、大数据管线与早期训练工作流讨论中。

金句（中英对照）

1. “我宁愿生活在一个有 100 家基础模型公司的世界，而不是只有五家的世界，即使我是那五家之一。” “I’d rather live in a world that has 100 foundation model companies than a world that has five, even if I was one of the five.”

2. “模型构建最终 90% 是工程。” “Model building is ultimately 90% engineering.”

3. “模型应该是某个过程的产物，而不应被当作一个孤立的东西。” “The model should be an artifact of someone’s process. It shouldn’t be really a thing in itself.”

4. “我们优化的指标，是一个研究者的想法到我们能够信任的实验结果，再到进入下一次模型训练的速度。” “The metric that we are optimizing for is the speed of an idea from a researcher to an experimental result that we can trust to then being part of the next model training.”

5. “这是一门如此实验性的科学，以至于那些看起来显而易见的事情，很快就会让你发现自己错了。” “It’s such an experimental science that the things that seem obvious, you very quickly get to learn you were wrong.”

6. “这场竞赛不是用 GPU 的数量衡量，而是用日历时间衡量。” “The race is measured not in how many GPUs, but the race is measured on calendar time.”

7. “从更大模型得到的后训练配方，用到更小模型上，几乎总能成为很好的改进和基线。” “Recipe for post-training for a bigger model applied to a smaller model is almost always just a really good improvement and baseline.”

8. “AI 越来越强的时代，行动力可能会成为任何人最重要的品质之一。” “In the age of AI getting more capable, agency becomes probably one of the most important qualities for anyone.”

9. “创新来自约束。” “Innovation comes from constraints.”

10. “你就是可以去做事情。” “You can just do things.”

洞见与延伸背景

• 开放权重解决的是可访问性，开放研究解决的是能力扩散。 权重让外部运行和修改模型；实验设计、数据处理、失败记录与系统接口，才让其他团队更接近重建模型生产能力。

• 模型工厂的真正护城河是“决策谱系”。 Eiso 用 Foxconn 类比指出，今天走进复杂工厂的人看得到组件，却不知道每个设计为何形成；长期积累的实验历史和工程决策比单次模型文件更难复制。

• 智能体能力取决于环境是否可调用。 Poolside 的智能体之所以能启动任务和读取结果，不只是因为模型会写代码，而是底层训练系统已经具备稳定 API、追踪机制和自动评估。

• 实验速度和科研严谨不是天然对立。 流式数据提高迭代速度，不可变数据与代码版本化保证结果可追踪；只有两者同时存在，1 万至 2 万次月度实验才可能转化为知识。

• 小模型可以作为因果辨识工具。 更短的从头训练周期减少同时改变的变量，使团队更容易判断某项优化是否真正有效；蒸馏虽然可能提高产品性能，却未必满足这一研究目的。

• RL 的约束是任务、并行度与系统架构的共同结果。 如果任务数量限制 batch size，那么更多 GPU 不一定缩短训练时间；改进方向就会转向异构芯片、工作负载拆分和低精度稳定性。

• 组织设计与模型工厂遵循同一原则。 两者都要缩短从输入到可靠输出的周期：研究系统减少想法到实验的时间，AI 原生组织减少客户需求到交付的时间。

• 高行动力不等于无限自由。 Eiso 认为，没有共同目标和边界的高行动力团队会退化为“探索算法”，最终围绕资源形成政治竞争；明确“不做什么”是释放行动力的前提。

• 材料范围限制。 本稿没有引入外部模型榜单、融资数据库、许可证文本或芯片规格。中段缺失内容只作为待核实议题列出，不作为确定事实扩展。

争议与需核实

1. 转写时长与音频标称时长冲突。 用户给出的全集时长约为 6112 秒，即 1:41:52；但转写文本持续到 1:54:23。最后一条指定 seek 锚点为 t=6112，恰对应 1:41:52，却不是转写的实际结束位置。需要核实音频版本、转写版本或时间轴是否不一致。

2. 中段正文缺失。 约 30 分钟后至约 1:36 的逐字内容被省略，涉及预训练、课程设计、低精度、工具调用、多模态、训练经济性、开放模型与安全等主题。不能仅凭章节标题还原完整主张。

3. “模型构建 90% 是工程”是经验判断。 节目没有提供工时追踪或岗位统计来证明该比例，应理解为强调工程主导性的修辞性量化。

4. “完美可复现”需要定义。 分布式训练中的可复现可能指配置、数据和趋势复现，也可能指严格数值一致；两者差异很大，节目未说明。

5. 优化器 epsilon 问题记忆不完整。 Eiso 不记得具体 bug 和精确数值，只记得修复后无需把 epsilon 调得很高。不能据此复原训练配置或断言相关论文有错误。

6. 团队规模存在多个口径。 “少于 70 名研究人员加 35 名工程师”“少于 70 人构建模型”“研究和工程合计少于 115 人”可能分别指不同参与范围，应避免直接相加或视为同一统计。

7. 模型尺寸数字主要来自主持人提问。 30B、120B、3B、4B、20B、100B 等未在可见回答中得到完整确认，不能直接写成 Poolside 正式规格。

8. 低精度 RL 博客与四比特论文缺乏名称。 节目只提供“约五天前”和“约一年前”等线索，且 Swyx 明言自己记不清细节，需要回查原论文。

9. 开放模型的商业、安全和监管边界未解决。 Eiso 主动承认，公司尚未完全回答开放基础模型如何赚钱、何时应因滥用风险停止发布，以及政府会如何反应。

10. RSI 表述可能被过度解读。 当前可见证据是智能体辅助代码、实验执行和结果分析，而人类仍提出想法与调试；这与完全自主的递归自我改进仍有明显距离。

行动建议

对基础模型团队

• 把核心指标从“发布了多少模型”改为“研究想法到可信实验结果的日历时间”。
• 建立端到端实验追踪：数据不可变、代码版本化、配置可追溯、评估自动记录。
• 在扩大实验数量前先保证可信度，否则高吞吐只会制造更多不可解释结果。
• 评估训练数据是否必须预先完整物化；若系统条件允许，可研究按需流式供数。
• 把智能体接入结构化 API，而非只让其在聊天界面生成代码。
• 分别测量预训练、SFT、RL 和发布准备时间，找出真正的 wall-clock bottleneck。
• 小模型应被视为快速验证研究假设的工具，不只是一种低成本部署版本。

对研究负责人

• 要求每个实验尽可能接近真正的消融，避免一次叠加过多改动。
• 对“从大模型迁移到小模型”和“从小模型迁移到大模型”采取不对称预期。
• 发布研究时不仅给最终权重和分数，也说明失败实验、数据流程与系统约束。
• 明确团队的研究边界，避免高行动力人才把组织变成无方向的探索算法。
• 区分“智能体辅助研究”与“自主递归改进”，为每一步保留人类责任主体。

对工程组织

• 用从需求识别到用户交付的 lead time 衡量生产力，而不是单看代码量、PR 数量或评审次数。
• 记录一次交付涉及多少人；如果智能体能减少协调层级，应把组织流程同步简化。
• 招聘时寻找过去主动完成的职业项目和个人项目，以行为证据判断 agency。
• 给高行动力员工明确共同目标和禁止进入的边界，而不是只提供无限自由。

对听众与分析者

• 阅读 Poolside 技术报告时，优先关注其模型工厂、实验系统和数据流程，而不只看基准分数。
• 对节目中凭记忆提及的论文、量化结论和优化器参数进行原文核查。
• 区分开放权重、开放研究、开放数据与完整可复现训练，它们不是同一层级的开放。
• 在引用本期内容前先核实音频 1:41:52 与转写 1:54:23 的时间轴冲突。

来源

• reused_en_transcript
• latent.space