20VC：谁会赢得推理市场｜开源 LLM 推理是否已见顶？｜算力成本会怎样｜与 Modal CEO Erik Bernhardsson 谈后训练和 RL 的真正局限20VC: Who Wins the Inference Market | Has Open-Source LLM Inference Peaked? | What Happens to the Cost of Compute | The Real Limits of Post-Training and RL with Erik Bernhardsson, Modal CEO

播出信息

• 日期：2026-11-01
• 时长：3730 秒（62 分 10 秒）
• 节目：The Twenty Minute VC（20VC）
• 主持人：Harry Stebbings
• 嘉宾：Erik Bernhardsson，Modal 联合创始人兼 CEO
• 音频：收听节目
• YouTube：无 YouTube 链接
• Episode：节目页面
• 英文转写来源：asr:transcribe-svc:job_4c105282d361

背景

Modal 为开发者提供运行计算任务的基础设施。本集讨论的「推理市场」不只是托管大语言模型：Bernhardsson 将低延迟与批量推理、代码执行沙箱、训练、后训练，以及其他 AI 应用所需的计算任务，都放进同一幅市场地图。主持人从 Modal 的融资和增长切入，追问这家公司凭什么在模型实验室、GPU 供应商、NeoCloud 和其他推理服务商之间占据位置。

这是一场立场鲜明的创始人访谈，而非行业审计。有关 Modal 的收入、增长、利润和容量的数字主要来自主持人与嘉宾的口述；竞争格局、未来估值及需求增速则包含大量预测。

总结分析

Bernhardsson 的核心判断是：推理会像新一代云计算一样庞大，但「推理」不会永远是单一商品。不同应用需要不同的延迟、吞吐量、模型控制权和执行环境；市场越大，专用模型与细分产品越有生存空间。问题在于，如果服务商只按 token 收费，客户很容易迁移，价格竞争也会侵蚀利润。因此 Modal 想把 GPU 调度、沙箱、训练与后训练等能力组合起来，让开发者在同一平台完成更多工作。

访谈最具体的部分，是这种平台愿景如何落到供需匹配上。Modal 从约 25 家 NeoCloud 获取算力，以自建调度等基础设施汇集容量，再承接客户时涨时落的需求。Bernhardsson 称，客户可以按 GPU 秒付费，而不必预订多年固定容量；但他也承认，GPU 扩容已让公司现金流承压。规模、资本和工程能力都重要，却不能轻率地称为永久护城河。

另一条主线是对「需求见顶」和「自动化无上限」两种说法同时保持距离。他反对把开放模型与前沿闭源模型看成零和竞争，认为两边都可能快速增长；但在后训练问题上，他区分了能迅速验证结果的代码、数学任务，与反馈需要数月的复杂工程工作。整集最值得保留的张力正在这里：AI 基础设施的增长可能非常快，增长的持续性、利润率和能力边界却仍要分别证明。

节目结构 / 议程

1. 创业动机、融资与早期护城河 — 04:30 🎧
2. 资本效率、品牌与开发者增长 — 08:53 🎧
3. 推理市场为何需要多产品平台 — 13:43 🎧
4. GPU 聚合、弹性调度与容量预测 — 17:55 🎧
5. 算力价格与潜在需求 — 21:36 🎧
6. NVIDIA、替代芯片与 NeoCloud — 23:34 🎧
7. 开放模型的价值与地区竞争 — 27:19 🎧
8. 专用模型、沙箱与第二产品的时机 — 30:04 🎧
9. 开放模型推理是否见顶，以及 Modal 的增长 — 37:13 🎧
10. 后训练与强化学习的真实边界 — 41:33 🎧
11. 企业是否该拥有自己的模型，以及模型路由 — 47:13 🎧
12. 市场回调、人才竞争与长期选择 — 51:12 🎧

分节详解

1) 创业动机、融资与早期护城河 — 04:30 🎧

💬 他们说了什么：Bernhardsson 说自己约 8 岁时、即 1992 年左右开始编程，直到 36、37 岁才创办 Modal。他并非一直以创业为目标，而是发现一个令他觉得「为什么没人做」的市场机会。他不认同创业必须天天「吞玻璃」的叙事：艰难决策确实存在，但他喜欢建设产品，甚至希望继续做这家公司几十年。谈及融资，他说自己从未制作正式募资演示文稿，更倾向于在募资前长期认识投资人。

💡 为什么重要：这里解释了他的经营偏好：公司不是等待出售的一次性项目，融资也不是单纯追求最高估值。他主张早期只拿必要的资金，以控制稀释，并为下一轮保留空间。

⚡ 争议点：这种融资方式依赖关系、增长和议价能力，并非一般初创公司都能复制。「理想创业年龄约 32 岁」也是个人经验，不是普遍规律。

2) 资本效率、品牌与开发者增长 — 08:53 🎧

💬 Bernhardsson 称，Modal 此前大部分时间并非受资本约束，过去每月消耗仅为数百万美元；如今为 확보 GPU 容量，公司虽在损益表口径上盈利，现金流却因扩容而明显为负。他对「护城河」一词很谨慎：初创公司通常还没有成熟的结构性优势，首先要跑得比对手快。与此同时，品牌、网站、产品体验和开发者社区共同塑造了 Modal 的吸引力；他认为公司还可以更积极地表达自身个性。

💡 AI 基础设施公司的资本需求会随业务阶段改变。早期的产品驱动增长，不能自动解决后期采购算力所需的资金；品牌也不是脱离产品的宣传，而是开发者第一次访问网站、试用服务时的完整感受。

⚡ 社交媒体讨论热度和「氛围好」难以直接换算成客户留存或定价权。主持人将团队、产品决策速度与品牌视为防御力，Bernhardsson 则提醒，不应把这些优势过早等同于护城河。

3) 推理市场为何需要多产品平台 — 13:43 🎧

💬 Bernhardsson 将推理比作「新的云」，但认为单卖 token 会成为客户容易切换的商品服务。Modal 因而希望同时提供低延迟和批量推理、沙箱、后训练及强化学习所需的工具。他预计推理市场可能比自己原先设想大 10 倍甚至 100 倍，足以容纳大量细分产品。谈及毛利，他认为过去那种 90% 以上的软件毛利难以成为这个多层供应链的常态；Modal 长期达到 40%—60% 毛利或许有机会，但不应套用传统软件公司的标准。

💡 这段澄清了「专业化」与「平台化」并不必然冲突：单个工作负载会更专门，但客户可能希望在统一平台购买多种工具。平台价值若成立，来自组合使用、迁移成本和底层工程，而非仅仅拥有更多产品名称。

⚡ 产品越广，越可能分散工程资源；较高的综合毛利也取决于各项服务能否真正形成交叉销售。有关市场规模和长期毛利的数字均是嘉宾判断，不是已实现业绩。

4) GPU 聚合、弹性调度与容量预测 — 17:55 🎧

💬 Modal 与约 25 家 NeoCloud 合作获取 GPU。Bernhardsson 说，公司自建文件系统、容器运行时和调度器，而非完全依赖 Kubernetes、Docker；目的在于把分散算力作为一个容量池管理。单个客户的负载难预测，汇总数千付费客户的需求后，整体曲线则更平滑。客户可按 GPU 秒付费并快速扩缩，不必锁定三年固定容量。他称 GPU 交付提前期约 3—4 个月；过去 12 个月汇总需求每月增长约 30%—40%，公司据此预测和采购未来容量。

💡 Modal 要替客户完成采购、容量规划和调度，把资本与工程上的复杂性转换成开发者易用的弹性服务。若需求足够分散，聚合确实可能改善利用率。

⚡ 以近期高速增长外推未来 3—4 个月，在需求转向时会带来闲置风险；提前采购又会占用现金。访谈没有披露容量利用率、采购合同期限或客户结构，无法据此核算聚合效率。

5) 算力价格与潜在需求 — 21:36 🎧

💬 Bernhardsson 坦言无法准确预测 H100 等 GPU 的价格。他认为硬件长期趋于降价，但当前供需紧张可能使价格继续上涨 1 年、2 年甚至 5 年；愿意支付更高价格的买家仍能取得容量。他和主持人都认为 AI 应用有大量尚未释放的算力需求，但也谈到数据中心建设、利率及客户尚未产生收入等约束。

💡 芯片效率提升不等于总算力支出下降。若更便宜、更易用的计算催生更多应用，需求可能吸收效率红利；但服务商仍须保证终端客户最终有能力为使用量买单。

⚡ 「未来五年难以过度建设」是访谈中的乐观判断，不能据此排除局部容量过剩。GPU 的长期降价趋势与短中期采购价格、融资成本、利用率，是不同问题。

6) NVIDIA、替代芯片与 NeoCloud — 23:34 🎧

💬 Bernhardsson 不把 NVIDIA 与专用芯片厂商的前景视为非此即彼。他认为 CUDA 本身的护城河常被夸大，更强的优势是周围的工具、内核优化和框架支持：许多系统仍优先支持 NVIDIA。NeoCloud 对 Modal 则既是供货伙伴，也可能向推理层扩张成为竞争者。他认为对方复制 Modal 用以调度 GPU、运行大量并发任务与沙箱的整套基础设施并不容易；反过来，NeoCloud 的强项在于凭长期客户合同融资、购置并交付芯片。

💡 产业链相邻企业会同时合作和竞争。决定竞争位置的，不只是芯片所有权或一项 API，而是软件生态、调度能力、融资能力与客户关系如何组合。

⚡ 关于竞争者难以向上扩张的判断，来自直接利益相关的 Modal CEO。替代芯片的成熟程度以及 NeoCloud 自建推理服务的成效，仍需看实际产品和客户使用情况。

7) 开放模型的价值与地区竞争 — 27:19 🎧

💬 面对便宜且性能强的闭源前沿模型，Bernhardsson 认为开放模型仍能满足微调、控制参数、追求特定延迟和吞吐量的需求。他同时指出，「开放」模型的许可方式并不一致，一些提供方正加强商业价值获取。他希望美国和欧洲也有更多有竞争力的模型；谈及欧洲时，他修正了自己最初的表述：问题不是缺人才，而是较难把人才与大量资本集中到同一家公司。

💡 模型选择不仅比较一次性的榜单成绩，还涉及可修改性、持续可用性、部署控制和供应来源。模型格局多元化，也会影响在其上提供计算服务的平台。

⚡ 开放权重、开放源码和可自由商用并不是同一个概念；不能把所有「开放模型」视作许可条件相同。地区竞争判断也不等于对某国模型能力的否定。

8) 专用模型、沙箱与第二产品的时机 — 30:04 🎧

💬 Bernhardsson 看好按任务分化的专用模型，并认为在足够大的推理市场中，可能出现价值 1000 亿美元的专用模型公司。转回 Modal，他承认多产品战略最难的是取舍：沙箱产品于 2023 年推出，直到 2025 年夏季代码生成和应用构建能力提升后才显著放量。他称沙箱如今达到约 3 亿美元年化收入规模，约占公司收入的 三分之一。公司随后推出训练产品，并探索批处理与强化学习相关服务。

💡 基础设施「积木」可能先于杀手级应用诞生。Modal 当初判断代码执行环境会有用，却没有完全预见编程智能体、强化学习等需求何时把它推向大规模使用。

⚡ 产品提前布局与事后看来「押对时机」容易混为一谈；等待市场成熟也需要资金和耐心。沙箱年化规模是嘉宾口述，访谈未给出其独立利润或客户集中度。

9) 开放模型推理是否见顶，以及 Modal 的增长 — 37:13 🎧

💬 Bernhardsson 承认 Modal 曾低估开放模型推理，担心它沦为价格战；随后迅速增加投入，称团队从 1—2 人扩大到 12 个月后约 30 人。对于「便宜的闭源前沿模型会令开放模型推理见顶」的观点，他认为这预设了固定大小的市场：两类服务都有可能增长。他还说 Modal 过去 12 个月增长 15 倍，当前月度增长约 30%—40%；主持人在开场将公司描述为达到 10 亿美元 ARR、完成 7.5 亿美元融资、估值 157.5 亿美元。Bernhardsson 希望新训练产品在未来 6—12 个月达到 1 亿美元年化收入规模。

💡 这一段同时呈现了战略修正和高速增长。错过细分市场的早期机会，不代表无法追赶；但一家平台公司必须持续决定把团队放在哪个新产品上。

⚡ 「开放模型与闭源模型都增长」并不回答两者最终的份额与利润归属。主持人的 ARR、融资及估值说法，以及嘉宾的增长率和训练产品目标，应区分已发生的口述数据与未来预测；高增长率也不能无限线性外推。

10) 后训练与强化学习的真实边界 — 41:33 🎧

💬 Bernhardsson 认为，后训练之所以在代码、数学和部分网络安全任务上有效，一个关键条件是结果较容易检验：代码可以在沙箱运行，数学证明也可使用形式化工具。他怀疑这种方法能否直接延伸至反馈周期长、需求会变化的工作；他猜测，AI 智能体（Agent）可能先自动化那些能在 24 小时或一周内完成、验证的任务，而工程师仍要处理更长周期的问题。他同时强调自己可能被事实推翻。Modal 约 150 名工程师每月使用编程智能体的支出，据他估计约 50 万美元。

💡 讨论 AI 能否做某项工作时，不能只看它能否生成答案，还要看任务是否有可靠、及时的反馈信号。Bernhardsson 因而看好软件需求继续增长，并把工程师的工作重心放在理解人的要求、设计流程和协调长期目标上。

⚡ 短反馈任务较易训练，不意味着长反馈任务永远无法自动化；反过来，代码生成进步也不足以证明完整软件工程已被取代。编程智能体支出只能说明使用强度，不能单独证明生产率回报。

11) 企业是否该拥有自己的模型，以及模型路由 — 47:13 🎧

💬 Bernhardsson 反对「每家公司都必须拥有自己的智能」的绝对说法。对某些任务，基于开放模型微调可带来稳定版本、持续修改能力和更强控制；另一些任务则更看重成本、延迟、性能或周边工具。Modal 既可承载开放模型，也承载客户自有模型。谈及模型路由，他认为独立服务当下可以做成生意，但长期可能需要与评测、微调和性能管理组成更完整的产品。

💡 企业的模型策略应从具体工作负载出发，而不是先决定必须自研或必须外购。模型路由的价值也不止「选最便宜的模型」，还取决于能否验证结果并管理服务质量。

⚡ 平台化是 Bernhardsson 对多数 AI 工具的长期偏好，不代表独立路由产品必然失去价值。企业自有模型是否划算，仍需计算训练、维护、迁移与推理的总成本。

12) 市场回调、人才竞争与长期选择 — 51:12 🎧

💬 Bernhardsson 几乎确信 AI 市场会经历回调，举出股市下跌 20%—30%的可能情景，但仍看好长期算力需求。他个人很少出售老股，却支持员工在限制下参与股份转让，例如最多出售约 10%，让股权不只是纸面价值。人才市场方面，他称曾失去拿到实验室 2000 多万美元报价的优秀应届生；Modal 希望给出市场约 第 95 百分位的薪酬，并以股权上行空间竞争。快问快答中，他提醒依赖持续股权融资、没有清晰商业化路径的公司尤其脆弱。

💡 对长期市场乐观，与为短期融资收缩做准备并不矛盾。容量采购、现金流、员工股权流动性和人才薪酬，都是高速增长之外必须处理的经营问题。

⚡ 市场回调幅度与时间无法预测；极高人才报价也可能是罕见案例，不宜当作普遍薪酬基准。股权的吸引力取决于未来公司表现和实际流动性，而非仅靠当前估值。

人物与机构

• Erik Bernhardsson：Modal 联合创始人兼 CEO；本集主要观点和经营数字的陈述者。
• Harry Stebbings：20VC 主持人；集中追问估值、竞争、开放模型和后训练的边界。
• Modal：提供弹性计算、推理、沙箱等服务的 AI 基础设施公司。
• NVIDIA：GPU 与软件生态的核心供应商；访谈讨论其 CUDA 生态及替代芯片竞争。
• NeoCloud：提供 GPU 容量的一类云服务商；对 Modal 既可能是供应伙伴，也可能成为上层产品竞争者。
• OpenRouter：模型路由服务；Bernhardsson 在讨论独立路由业务时提到自己的投资。
• Accel：主持人在开场所述 Modal 融资的领投方；英文转写将名称识别为「Excel」。

金句

「如果你只是用美元卖 token，就没有切换成本。」——Bernhardsson，谈推理服务商品化风险（意译）

「硬件价格长期总会下降；但眼下供给短缺，价格可能还会上涨。」——Bernhardsson，谈算力价格（意译）

「软件工程师的工作从来不只是把英语翻译成代码。」——Bernhardsson，谈工程工作的长期价值（意译）

「会有回调；我可以接受，因为长期机会太大了。」——Bernhardsson，谈 AI 市场周期（意译）

洞见与延伸背景

• 把「推理」拆开看：实时问答、批量处理、运行生成代码、模型训练各有不同的延迟、吞吐量和安全要求。只比较每百万 token 的标价，可能漏掉执行环境和运维成本。
• 年化收入规模不是已收全年收入：访谈中的「10 亿美元 ARR」及「沙箱 3 亿美元 run rate」都指向某一时点的年化速度；评估增长时，还应看持续使用、客户留存与现金流。
• 供需聚合有双面性：客户需求越多样，合并后的负载越可能平滑；但平台为保证即时容量而提前采购，就必须承担预测失误和资金成本。
• 反馈周期是评估 AI 智能体能力的实用尺度：能否自动运行测试、得到可信评分，比「任务看起来是否复杂」更能解释某些后训练成果为何先出现在编程和数学领域。

争议与需核实

• 融资与收入数字：开场提及的融资额、估值和 ARR，以及访谈中的增长率、毛利目标、沙箱收入规模，均以节目口述为准；若用于投资或行业比较，应另查公司公告及财务口径。
• 转写识别误差：英文 ASR 出现「Excel」「Moodle」「Deep C」等疑似误识别；本文依语境写作 Accel、Modal，并避免把不确定的名称当作独立事实。
• 利润与现金流：「损益表口径盈利」和「现金流明显为负」可以同时成立，但访谈未提供完整财报、采购安排和会计口径。
• 市场预测：开放与闭源模型均快速增长、GPU 长期降价、后训练遇到长反馈瓶颈，都是有理由的判断，不是已获验证的确定结论。
• 异常高的人才报价：节目未说明所述 2000 多万美元报价的期限、现金与股权构成，不宜与普通年度薪酬直接比较。

行动建议

1. 采购推理服务时，同时测试价格、延迟、吞吐量、扩缩速度、沙箱或训练需求，以及迁移难度；不要只按 token 单价排序。
2. 决定是否微调或自有模型时，先列出必须控制的参数、版本稳定性和数据要求，再计算长期维护成本。
3. 评估平台公司时，把收入增长与容量利用率、GPU 采购承诺、现金流和产品留存放在一起看。
4. 部署编程智能体时，优先选择可自动测试、有明确反馈的任务；对跨团队、长周期的工程目标保留人工设计与验收。

来源

• 20VC 节目页面
• 节目音频
• 英文转写：asr:transcribe-svc:job_4c105282d361；文中时间戳依据所提供转写整理。