这集讲什么
Modal 的生意，是把云供应商按年出售的固定 GPU 容量，转化为开发者能随时启动、扩缩和停止的计算服务；这既是系统工程问题，也是资金与风险管理问题。
1-3要点
- “矩形”是供需形状错配：固定数量、固定期限的 GPU 合同，不吻合波动的推理和AI 智能体（Agent）负载。
- Modal 同时经营软件与容量转换：开发接口和快速调度创造便利；采购、预付款及利用率管理决定其能否持续交付。
- 价格上涨不是唯一风险：若价格与利用率同时下跌，锁定供应的一方可能承受双重压力。
0:00 / --:--
Latent Space · 10 月 22 日
Modal CEO Erik Bernhardsson 认为，GPU 供应以固定数量、固定期限的「矩形」合同出售，与波动的推理和智能体负载不匹配，Modal 通过汇聚客户需求、快速调度和容量管理来转换这种供需形状错配。
Modal 的生意，是把云供应商按年出售的固定 GPU 容量，转化为开发者能随时启动、扩缩和停止的计算服务；这既是系统工程问题，也是资金与风险管理问题。
这集还没有学习卡。生成后会保存在这一集，下次直接打开。
a16z Show· 2026-10-08为智能体世界构建云｜AWS CEO Matt GarmanBuilding the Cloud for an Agentic World | AWS CEO Matt Garman同主题：AI 算力基建a16z Show· 2026-10-23亚马逊 CEO Andy Jassy 谈 2200 亿美元的 AI 建设Amazon CEO Andy Jassy on the $220 Billion AI Buildout同主题：AI 算力基建
All-In Podcast· 2026-10-30Anthropic S-1 令人震惊，史上最伟大的企业？谷歌市值蒸发 5000 亿美元，中期选举预测Latent Space
Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO
YouTube
音频
Erik Bernhardsson 是 Modal 的 CEO。他曾在 Spotify 建设音乐推荐系统并发布工作流工具 Luigi，后来担任 Better.com 的 CTO。Modal 始于他对“如何更容易地在云端运行代码”的思考，早于生成式 AI 热潮；Stable Diffusion 兴起后，模型推理成为其产品的重要用例。
理解这集的关键，是区分 GPU 容量与可用的 AI 计算服务。前者可能是某地一批机器、一个多年期采购承诺；后者还需要部署接口、模型加载、调度、隔离、故障处理和按需伸缩。Modal 试图承担中间这一层，而不是仅把 GPU 按固定时段转租给客户。
标题里的“矩形”，指一份典型 GPU 合同在时间和数量两个维度上都是固定的：约定一批设备，从某个日期开始，连续使用数年。但多数客户的负载不是矩形。推理请求有昼夜波动，新模型上线会带来突增，实验和批处理可能只运行很短时间。Bernhardsson 认为，Modal 的机会正是汇聚大量客户，把各自不规则的需求平滑为相对稳定的总体需求，再通过快速启动、快照和调度，把长期采购的容量切成细粒度服务。
这并不意味着软件可以消除底层约束。Modal 早期主要汇集大云厂商的现货容量，如今为取得足够 GPU，已需接洽更多云供应商，签更长期的合同并支付预付款。于是，开发者体验出色的软件公司，也必须面对采购、融资、设备质量和价格下跌风险。Erik 对扩张态度积极，却反对把“智能需求无限”当作无限囤积 GPU 的理由：需求、利用率与转售价格可能同时转弱，届时长期承诺会放大损失。
另一条主线是产品如何随 AI 应用改变。Modal 从易部署、易扩缩的 functions 出发，sandboxes 因智能体（Agent）需要运行代码而增长；面向智能体的好文档、明确报错和快速反馈，也并未取代传统开发者体验。整场讨论的张力在于：Modal 越能提供即时、弹性的计算，越要在后台承接不弹性的合同。这种“期限转换”若有效，会成为差异化能力；若采购价格、客户增长或系统可靠性判断失误，也会成为风险来源。
💬 他们说了什么：Modal 提供计算、存储和 SDK，让客户运行推理、沙箱、训练及批处理，并负责底层容量。Erik 说，Spotify 推荐系统的大量计算工作，让他长期觉得基础设施工具不够好；在 Better.com 担任 CTO 的经历，则加强了他对团队建设和开发效率的认识。他估计，Modal 相比约两年前，上述收入、用户及使用量等指标至少增长了约 50 倍，但没有给出精确基数。
💡 为什么重要：产品起点不是“出租 GPU”，而是降低运行代码及把它投入生产的摩擦。这解释了 Modal 为什么强调 SDK、文件系统与运行时。
⚡ 争议点：“至少 50 倍”是受访者的回忆性估计，各项指标是否都达到同一倍数，不能从访谈独立确认。
💬 Erik 从 Luigi 一类工作流编排问题重新出发，却判断“执行计算”比编排本身更基础，于是在 2021 年开始建设易于在云端运行代码的平台。Stable Diffusion 随后让团队看到生成式 AI 推理的契合度。Modal 起初自行出资，2022 年初完成种子轮；他回忆月收入从 2022 年 11 月约 100 美元、次月约 2000 美元，升至 2023 年 1 月约 3 万美元。
💡 这是从通用能力找到高需求场景，而非看到 ChatGPT 后才拼装产品。早期 SDK 的灵活性，使客户能部署自定义推理流程。
⚡ 早期收入跃升不等于需求已经分散。Erik 称，首个大客户 Mage 一度贡献 2023 年第一季度约 80%—90% 的收入，客户集中风险当时很高。
💬 Erik 认为，传统容器工具更适合相对稳定、CPU 成本较低的后端服务；推理则涉及昂贵 GPU、大模型加载和剧烈变化的请求量。Modal 因此深入建设文件系统、容器运行时、CPU／GPU 快照、自动扩缩、调度与容量管理，并较早把跨区域资源视为一个总池。
💡 推理成本不只由 GPU 单价决定。冷启动、模型搬运与空闲容量，都会影响实际交付成本；快速扩缩同时改善体验和利用率。
⚡ “必须重建工具、不能只包装旧工具”是 Erik 的技术判断，不意味着 Kubernetes 等现有方案无法承载任何推理负载。Modal 也经历过故障与扩展问题。
💬 早期 Modal 主要使用 AWS 等大云厂商的现货和按需容量，后来扩至 GCP、Azure、Oracle 等。随着规模扩大和供应市场变化，Erik 称公司已与近 25 家云供应商合作；取得所需容量有时须签三年以上合同并支付可观预付款。他还提到，约 4 人专门采购，约 10 人处理来自各处的裸金属设备及网络、磁盘等问题。
💡 对客户看似简单的“启动计算”，后台可能跨越不同地区、合同和设备质量。采购能力已成为产品能否兑现弹性的组成部分。
⚡ 供应商数量不等于可互换容量。Erik 说团队会核验 IOPS、CPU、带宽及故障响应，并尽可能先做节点验收；大额承诺仍有供应商风险。
💬 访谈时 Modal 尚未拥有自有 GPU 容量，所用容量均为租赁，常见安排包括多年期合同。Erik 认为，购买设备除了供电、布线和运维复杂性，还带来融资选择：发股融资可能稀释股权，举债又通常需要长期收入支持。他不排除未来购买、合资或采用混合安排。
💡 租或买并非单纯比较每小时价格，还要比较资本成本、经营灵活性与资产价格风险。软件平台想保持轻资产，却可能为锁定供应而承担越来越重的合同义务。
⚡ 租赁并不自动等于低风险；三年租约和预付款也会形成刚性承诺。相反，自有设备在紧缺市场可能取得更好的当期经济性。
💬 面对“为何不尽可能多买 GPU、用不完再转卖”的提问，Erik 指出坏情景中的变量可能相关：使用率、GPU 价格和转售市场同时走弱。他称 Modal 正积极扩容，但希望扩容步调与需求增长相配。他尤其担心在高位锁定大量供应后出现价格下跌，而不只是价格上涨。
💡 转售并非可靠的单向保险。最需要退出容量的时候，其他持有者可能也想退出，使流动性同时消失。
⚡ Erik 并未预测价格近期必然崩跌；其观点是长期硬件价格通常下降，必须为低概率、高损失情景留余地。
💬 Erik 看好 AMD、TPU 等替代加速器在部分负载上的机会，也提到不同芯片分担推理阶段的可能性，但承认自己多年预测“下一年是非 NVIDIA 加速器之年”都未应验。他解释 neocloud 的扩张逻辑：先获得大型买家的长期采购承诺，再据此融资、采购和部署硬件。他同时对 GPU 能否像标准化商品一样轻易交易保持谨慎，因为位置、网络、CPU、磁盘及可靠性均不相同。
💡 竞争不只发生在芯片性能层，还发生在软件适配和融资结构层。谁能把未来收入转换为当前建设资金，谁就可能更快取得供应。
⚡ “2027 年或是替代加速器的年份”是预测；个别芯片在特定基准测试中表现良好，也不等于迁移成本、供应和生产可靠性问题已经解决。
💬 Erik 将 Modal 的两项主要产品概括为 functions 和 sandboxes。前者从 2021 年推出的无服务器函数发展而来，适合部署、扩缩推理等工作；他强调公司并没有把自身定义为单纯的 GPU 租赁商。后者提供隔离运行环境，随着智能体需要执行代码而变得重要。到节目后段，他称 sandboxes 已约占公司收入的三分之一，近期收入仍曾逐月增长约 30%。
💡 客户购买的是可组合的执行能力，而非必然占满的整块设备；不同客户的突发需求可以在平台上汇聚。
⚡ 逐月增长率和收入占比都是访谈时点的经营描述，不能外推为长期增速。沙箱增长也不能证明所有智能体都会采用同一种隔离架构。
💬 议程从智能体沙箱延伸至 Anthropic、沙箱安全与用智能体测试安全性。Erik 在节目后段描述的方向，是让环境更短暂：按命令启动，借助快照暂停、恢复或复制，而不总是维持一台长期运行的“云端开发机”。他称当时 Modal 沙箱的中位运行时长约 8 秒，同时也认可长期运行沙箱有适用场景。
💡 若一次智能体操作只需短暂执行，启动和停止的开销就会决定架构能否经济地大规模并行。隔离与安全测试则是让不可信代码进入生产流程的前提。
⚡ 更短的生命周期并不天然更安全；快照状态、权限、网络访问及运行时代码仍须分别审查。节目中的中位数也不能代表所有客户负载。
💬 Erik 认为，好文档、清楚的错误信息和快速反馈，同时有利于人类与智能体。Modal 会用智能体测试“能否自行部署应用”以及是否会推荐 Modal。他观察到智能体常使用训练数据里的旧版语法，使接口废弃和线上示例维护更困难；智能体也可能误读价格。他倾向改进真实文档和内容，而不喜欢大量制造机器生成内容来影响推荐。
💡 智能体没有消除 API 设计的责任，反而把文档、示例和兼容性变成机器使用产品时的关键界面。
⚡ 询问智能体“推荐谁”得到的结果会受模型、提示词和资料版本影响；它可以作为内部信号，不宜直接当作市场份额或产品质量排名。
💬 Modal 的前线部署工程师协助客户调优模型与资源配置、处理迁移和故障。Erik 称该团队从年初约 4 人增至约 24 人；其理想终点并非持续增加人工服务，而是把重复解决的问题做成自助功能。他说公司尚未积极建立传统产品经理团队，担心基础设施产品沦为许多相似的小功能；代码审查则是可选的，但须以测试、CI/CD 和系统韧性作支撑。
💡 客户现场是产品发现渠道；工程文化若减少审批，也必须用自动化控制承担相应责任。
⚡ 可选代码审查高度依赖变更风险和内部控制。访谈不能证明它适合所有基础设施团队，尤其不能把“可选”误读为安全关键变更不需审慎复核。
💬 Erik 说，稀缺带来的大问题之一，是容量往往以三年期、在未来 3—6 个月开始的固定区块出售；真实需求却会按一天中的时段、新模型发布和突发任务起伏。他称客户需要 100 块 GPU 时，Modal 通常可以即时提供，而不必先与销售谈判。其方法是汇聚数千客户的需求、快速细分和重新分配容量。他还认为，独立推理服务商可以随热门模型更替而调整 GPU 分配；模型能力则仍可能在可验证反馈较强的领域继续改善。
💡 标题概括了 Modal 的核心转换：在后台承担长期、固定的供给，在前台提供短期、可变的需求接口。推理平台与模型开发者因此可能各有分工。
⚡ 需求聚合只有在客户波动足够错开、资源能有效调度时才会平滑；“通常即时提供”也不等于任何型号、地点和规模都有无限现货。模型间迁移亦受部署和客户使用习惯约束。
“最大的缺点不是很难获得 GPU，而是几乎所有容量都按一个三年的‘矩形’出售。” ——Erik 谈 GPU 供应方式，意译
“如果价格下跌、利用率下跌，转售容量的市场也可能同时消失。” ——Erik 谈过量采购风险，意译
“几乎所有让开发者体验变好的东西，也会让智能体体验变好。” ——Erik 谈文档、报错与反馈循环，意译
“长期来看，怎样把这件事变成产品，让我们不再需要前线部署工程师来做？” ——Erik 谈客户现场工作的目标，意译
容量聚合类似一种“期限转换”，但不是无风险套利。 Modal 可以向客户提供分钟级或按需的使用方式，却可能向上游承担多年期义务。客户足够多、负载足够错峰时，汇总需求较平滑；若客户受同一模型热潮、价格周期或宏观变化影响，相关性会上升，平滑效果就会减弱。
GPU 的可交易性取决于标准化程度。 同型号芯片所在的机器，也可能因网络、存储、CPU、地区和运维响应而有不同价值。因此，用单一“每 GPU 小时价格”比较采购方案，容易遗漏真正影响生产推理的条件。
快照改变的是工作单位。 长驻开发环境按“保有一台机器”思考；短暂沙箱则可能按“一条命令及其状态”思考。只有当启动、保存状态和恢复足够快，后一种模式才能在大量并行智能体任务中体现优势。
