Aftercasting

0:00 / --:--

20VC:挑战英伟达:Fractile CEO 谈芯片的未来|人人对资本开支都有哪些误解|与 Walter Goodwin 谈新型云服务商中的赢家与输家20VC: Taking on NVIDIA: Fractile CEO on the Future of Chips | What Everyone Gets Wrong About Capex Spending | The Winners and Losers in Neo Clouds with Walter Goodwin

The Twenty Minute VC (20VC) · 11 月 13 日

1:15:33更新于

这集讲什么

Fractile CEO Walter Goodwin 认为,AI 推理的下一轮竞争取决于能否在有限的电力与数据中心空间里,同时提高模型运行速度、内存容量和计算效率;这也是他押注新型芯片,而非单纯增加 GPU 数量的原因。

1-3要点

  • 推理的经济单位应从“每颗芯片多快”转向“每兆瓦能完成多少有价值的任务”。
  • 前沿模型与开放模型服务不必然商品化,但单纯提供相似算力的新云服务商更易受价格竞争影响。
  • 内存带宽、容量和运算密度必须一起评估;只解决其中一项,可能把瓶颈转移到另一项。
20VC: Taking on NVIDIA: Fractile CEO on the Future of Chips | What Everyone Gets Wrong About Capex Spending | The Winners and Losers in Neo Clouds with Walter Goodwin|深度中文详解

播出信息(日期2026-11-13;时长4533秒;含音频/YouTube/Episode 链接)

  • 日期:2026-11-13
  • 时长:4533 秒(75 分 33 秒)
  • 节目:20VC
  • 主持人:Harry Stebbings
  • 嘉宾:Walter Goodwin,Fractile 创始人兼 CEO
  • 音频:收听本集
  • YouTube:无 YouTube 链接
  • Episode:节目页面

背景

Fractile 是一家开发 AI 芯片及机架级计算系统的公司。本集讨论的核心场景不是训练模型,而是推理:模型投入使用后,持续生成答案、处理长上下文,并让 AI 智能体(Agent)执行长时间任务。随着任务从即时问答变成多智能体并行研究,推理所需的计算量、内存容量和数据搬运速度都在上升。

Goodwin 的立场也需要放在商业背景下理解:Fractile 正试图销售一种不同于主流 GPU 的芯片架构。他对现有方案的批评,既是技术判断,也是其产品定位。访谈中关于融资、性能、生产进度和其他公司的说法,以下均按嘉宾或主持人的陈述呈现,不视作独立验证的事实。

总结分析

这集访谈把 AI 基础设施的讨论从“还要买多少 GPU”推进到了“每兆瓦究竟能产出多少有用的推理”。Goodwin 认为,前沿模型尚未商品化:最强模型仍有能力差距,也能取得较高利润;但仅提供计算容量的新云服务商更容易陷入同质化。推理服务商若掌握模型部署效率和企业客户,则可能比单纯出租算力更有议价能力。

他的技术论证围绕“内存墙”展开。芯片的数学运算能力增长远快于内存带宽,而逐词生成的模型必须反复读取权重和上下文。传统 DRAM 容量大却受数据传输限制,SRAM 速度快却昂贵且容量有限。Fractile 因而押注将内存堆叠到计算芯片之上,试图同时取得高带宽、高容量和足够的运算密度。若这一组合能在完整机架上稳定运行并规模化制造,长时间推理的经济性可能发生变化;若做不到,架构优势仍只是设计主张。

访谈的另一条主线是资本开支。Goodwin 不认为推理成本下降必然意味着总支出下降,因为更便宜、更快的计算会被用于更难的问题。但需求旺盛也不能自动证明每笔投资合理:电力、并网、制造产能、设备利用率和技术换代速度都会决定回报。本集最有价值的区分,是将芯片演示、流片、机架运行与大规模商业交付视为四个不同门槛。

节目结构 / 议程

  1. Fractile 是芯片公司,还是全栈 AI 公司? — 04:17 🎧
  2. 哪些环节正在商品化? — 07:58 🎧
  3. 新云服务商为何押注非主流芯片? — 11:18 🎧
  4. “内存墙”如何限制推理速度? — 16:15 🎧
  5. Fractile 的三维内存堆叠押注 — 20:34 🎧
  6. 有芯片样品不等于量产 — 27:37 🎧
  7. 流片之后,真正的终点是什么? — 32:07 🎧
  8. 瓶颈转向电力与数据中心 — 35:49 🎧
  9. 为什么推理需求可能远超即时问答? — 42:04 🎧
  10. 效率提升会降低开支,还是扩大用途? — 47:30 🎧
  11. 多种芯片协作的收益与闲置风险 — 53:51 🎧
  12. 推理服务商、融资与未来判断 — 62:36 🎧

分节详解

1) Fractile 是芯片公司,还是全栈 AI 公司? — 04:17 🎧

💬 他们说了什么:Goodwin 将 Fractile 定义为销售芯片与机架级计算系统的公司,但其团队也包括机器学习研究人员、制造工艺专家和系统工程师。公司研究模型架构会如何变化,却不打算销售自家模型、与购买芯片的客户竞争。

💡 为什么重要:这里区分了“业务垂直整合”与“认知垂直整合”。芯片要提前多年设计,必须理解未来负载;但理解客户业务,不等于必须进入客户的模型市场。

⚡ 争议点:不与客户竞争有利于建立信任,却也意味着公司要依靠硬件及系统销售收回高额研发投入。它能否持续准确预测模型演进,仍是关键风险。

2) 哪些环节正在商品化? — 07:58 🎧

💬 Goodwin 认为,部分任务会达到“智能饱和”:便宜的开放模型已经足够好。但最强模型仍有明显能力差距;即便运行开放模型,推理软件的吞吐和交互速度也可能形成优势。相比之下,合格的新云服务商之间更容易变得相似。

💡 不能只凭“模型是否开放”判断利润会否消失。部署效率、服务质量和前沿能力,都可能让某一层继续保有议价权。

⚡ 他以 DeepSeek 的推理软件为例,说明开放模型服务也可能产生差异化;但一次技术领先能维持多久、能否转化为稳定利润,需要市场数据检验。

3) 新云服务商为何押注非主流芯片? — 11:18 🎧

💬 Goodwin 认为,新云服务商若只采购相似的 GPU、出租相似的算力,就难以长期区分彼此。新芯片平台声称可在特定负载上获得超过 10 倍的成本或速度优势;他以 FluidStack 部署 Google TPU 为例,说明脱离单一供应商可能创造机会。

💡 对云服务商而言,选择芯片既是采购决策,也是产品和利润结构决策。率先把新平台用起来的公司,可能获得短暂但显著的领先。

⚡ “超过 10 倍”是特定负载下的潜在优势,不等于所有任务或整个数据中心的实际收益。融资、迁移软件和供应保障,都可能抵消芯片本身的好处。

4) “内存墙”如何限制推理速度? — 16:15 🎧

💬 Goodwin 给出的量级是:过去约 25 年,芯片浮点运算能力增长约 100 万倍,内存带宽却只增长约 40 倍。大语言模型逐个生成 token 时,需要反复读取模型权重及上下文;因此某些模型只能以约 每秒 80 个 token生成,并非因为数学运算单元不够快。

💡 如果真正的瓶颈是搬运数据,单纯增加运算能力并不能等比例缩短等待时间。评价推理芯片必须同时看带宽、容量与实际负载,而不是只看峰值算力。

⚡ 增长倍数和生成速度依赖比较对象、模型、批处理规模及系统配置。这里应将它们理解为嘉宾解释瓶颈的量级示例,而非通用基准。

5) Fractile 的三维内存堆叠押注 — 20:34 🎧

💬 Goodwin 将 DRAM 描述为容量大、成本较低但访问受限,将 SRAM 描述为靠近计算单元、带宽高却难以容纳大型模型和长上下文。Fractile 试图把 DRAM 堆叠在逻辑芯片之上,让大量垂直连接替代芯片边缘有限的横向连接,争取兼得容量和带宽。

💡 长时间运行的智能体既要快速生成大量 token,也要处理越来越长的上下文。如果一种架构能同时满足两者,就可能减少“快芯片负责一部分、容量大芯片负责另一部分”的复杂部署。

⚡ 这是对产品方向的描述,不是已证实的生产性能。散热、良率、封装成本、可靠性及完整系统吞吐,都决定这种架构能否兑现承诺。

6) 有芯片样品不等于量产 — 27:37 🎧

💬 面对行业“营销多、生产少”的质疑,Goodwin 称 Fractile 已拿到经过晶圆厂制造的硅片,正在做进一步试验,并计划在访谈所述时间点之后数月进行完整产品流片。他强调,新进入者不仅要做出设计,还要争取晶圆厂及内存等有限产能。Fractile 把部分后端设计和制造对接能力留在内部,而非完全依赖中间合作伙伴。

💡 直接理解制造环节,可能给公司更多架构选择,也有助于寻找不同于拥挤主流平台的供应资源。

⚡ 已收到试验硅片、即将产品流片、达到规模生产,是三个不同阶段。访谈没有提供独立的良率、出货量或客户部署证据。

7) 流片之后,真正的终点是什么? — 32:07 🎧

💬 Goodwin 解释,流片是把最终设计文件送往晶圆厂、开始制作制造所需掩模的关键交接。之后还需等待芯片制造完成,再让单颗芯片、托盘乃至完整机架运行目标负载。Fractile 内部更关注的“任务零”,是参考负载首次在整架自家芯片上运行。

💡 投资人容易把流片当作产品完成,但客户购买的是稳定、可维护、可规模部署的系统。软件、网络、冗余设计和制造良率,都会在流片之后接受检验。

⚡ 即使整架系统成功运行,也还不能直接推导出长期可靠性、经济性或量产爬坡速度。

8) 瓶颈转向电力与数据中心 — 35:49 🎧

💬 Goodwin 回顾,行业约 三年前主要谈 NVIDIA GPU 短缺,随后又面对先进制造与高带宽内存供应约束;现在,土地、电力和并网成为更突出的问题。他举例说,如果手里只有一座 500 兆瓦数据中心,就必须考虑高速服务大型模型时,每兆瓦还能输出多少 token。随后双方讨论了电源建设及将数据中心设在大型发电设施附近的可能性。

💡 当新增机房受到限制,更合适的芯片可能不是“锦上添花”,而是提高固定电力资源产出的办法。

⚡ 并网申请规模不等于最终落地需求;靠近电源建机房,也仍须解决网络、水、建设周期及当地影响。主持人对公众反对数据中心的评价,不应替代这些具体问题。

9) 为什么推理需求可能远超即时问答? — 42:04 🎧

💬 Goodwin 认为,训练是建立模型的固定投入,推理才是反复使用模型解决问题的过程。他举出一项数学研究案例,称其动用了约 1 万个并行智能体、运行 80 小时;他的重点是,复杂任务可同时沿“更多并行尝试”和“更长连续推理”两个方向消耗计算。

💡 若科学研究、编程或其他困难任务都采取长时间搜索、验证和协作的方式,推理市场就不能用一次问答的成本来估算。

⚡ 案例的任务性质、计算口径及研究成果需核实。更多 token 也不保证更好答案;验证机制和任务是否适合自动化同样重要。

10) 效率提升会降低开支,还是扩大用途? — 47:30 🎧

💬 面对主持人对债务、资本开支和物理资源的担忧,Goodwin 强调模型算法与硬件都在提高效率。他判断,人类或许需要比今天多数千倍的计算,却不可能建造数千倍的数据中心;目标应是提高每兆瓦、每机架产出的智能。他同时预计,十年后运行模型的总支出会远高于现在,即使单位推理成本下降。

💡 单位成本下降与总支出上升并不矛盾:更便宜的计算可能让原本不经济的任务变得可做。不过,这仍取决于客户是否愿意为结果付费。

⚡ Goodwin 以当前 GPU 高利用率反驳互联网泡沫时期的闲置基础设施类比,但当前利用率不能保证未来每一轮扩建都有足够需求。融资成本、设备折旧和技术替代仍需单独核算。

11) 多种芯片协作的收益与闲置风险 — 53:51 🎧

💬 Goodwin 讨论将推理工作拆给不同芯片的方案:例如让高带宽芯片处理可由用户共享的模型权重,让容量成本较低的芯片处理各用户不同的上下文。他认为这种组合能解决眼前问题,却要求数据中心提前确定芯片配比;模型大小或上下文长度变化后,某一类芯片可能闲置。Fractile 则希望用单一架构兼顾运算、带宽与容量。

💡 异构计算的收益不能只看单项任务加速,还要算设备配比、利用率和升级灵活性。对于按年折旧的机房,买错比例可能成为昂贵的固定错误。

⚡ Goodwin 对异构方案的批评与自家产品定位直接相关。能否由软件调度、负载组合或逐步扩容缓解闲置风险,访谈没有量化比较。

12) 推理服务商、融资与未来判断 — 62:36 🎧

💬 Goodwin 更看好能服务企业客户、灵活选择底层芯片的专业推理提供商,而不是纯粹出租容量的新云服务商;他预计该领域可能出现少数估值达数千亿美元的公司。节目开头称 Fractile 完成 7.2 亿美元 C 轮融资、估值 70 亿美元。Goodwin 说,资金会用于多代产品路线、供应链安排、系统与网络研发及团队扩张。快问快答中,他还预测 NVIDIA 五年内可能达到 10 万亿美元估值,并强调英国需要释放更多能源供给。

💡 这笔融资所支持的不只是一次流片,而是从制造资源、后续产品到机架系统的长期竞争。Goodwin 的市场判断也显示:他相信推理需求会扩大到足以容纳现有巨头和新进入者。

⚡ 融资条款、未来估值及市场规模预测均不应与已实现收入混为一谈。“少数巨大赢家”也意味着不少服务商可能无法收回建设与获客投入。

人物与机构

  • Walter Goodwin:Fractile 创始人兼 CEO;本集主要观点的提出者,尤其涉及芯片架构与推理市场预测。
  • Harry Stebbings:20VC 主持人;持续追问芯片量产、资本开支和新云服务商的商业风险。
  • Fractile:开发面向 AI 推理的芯片及机架级系统;其三维内存堆叠方案是访谈的技术核心。
  • NVIDIA:现有 AI 计算市场的重要供应商;Goodwin 将其视为强劲企业,而非必然被新芯片取代的对象。
  • TSMC:访谈涉及的先进芯片制造合作体系中的关键晶圆厂。
  • DeepSeek、FluidStack:分别被用作推理软件效率、新云服务商采用不同芯片平台的例子。

金句

“流片日期在中间;我们持续瞄准的是参考负载在完整机架上运行的那一天。”——Walter Goodwin,意译

“我们感觉需要比今天多出数千倍的计算,但不会得到数千倍的数据中心。”——Walter Goodwin,意译

“一个称职的新云服务商,和另一个称职的新云服务商很相似。”——Walter Goodwin,意译

洞见与延伸背景

  1. 芯片路线本质上是对未来负载的提前下注。设计、制造和部署存在时间差;因此,今天的基准测试未必代表芯片服役期间最重要的工作。长上下文、批处理比例和智能体运行方式的变化,都会改变最优设计。

  2. “快”至少有两种含义。用户关心单个请求多久完成,服务商关心固定电力和设备下能处理多少请求。某方案改善响应速度,却显著降低总体吞吐时,未必改善商业经济性。

  3. 异构芯片是技术问题,也是资产配置问题。不同芯片分别擅长模型权重读取、上下文处理或提示词预处理时,运营商必须为尚未确定的未来负载确定采购比例。这使架构选择与折旧风险紧密相连。

  4. 判断资本开支是否过热,需要按项目而非按行业回答。行业可能存在真实且巨大的推理需求,同时仍有个别数据中心因电价、建设周期、融资条件或客户不足而无法取得回报。

争议与需核实

  • 融资与估值:节目称 Fractile 融资 7.2 亿美元、估值 70 亿美元;具体交易条款应以公司及投资方披露为准。
  • 性能与生产阶段:三维内存堆叠的性能、良率和成本优势,以及完整产品流片与规模交付进度,需要第三方基准和出货证据。
  • 数学研究案例:约 1 万个智能体运行 80 小时的说法,以及成果对应何种数学问题,应核对原始研究;不能据此直接宣称千禧年难题已获公认解决。
  • 公司交易与产品名称:转写中部分名称和有关 NVIDIA 与其他芯片公司的交易表述可能存在语音识别混淆,应查阅正式公告,不宜据此认定交易已完成。
  • 长期预测:NVIDIA 五年达到 10 万亿美元估值、可验证难题在短期内被模型解决、推理服务商出现数千亿美元公司,均属嘉宾判断而非确定结果。

行动建议

  • 评估芯片公司:分别索取单芯片测试、完整机架负载、长期可靠性、良率和量产计划,不以流片公告替代交付验证。
  • 评估推理服务商:同时比较响应速度、每兆瓦吞吐、真实设备利用率、企业客户留存和底层芯片切换能力。
  • 评估数据中心投资:把并网时间、电价、设备折旧、芯片换代及客户承诺放进同一回报模型;为需求增长和效率快速提升分别做情景分析。
  • 选择技术路线:先确定目标负载中的模型大小、上下文长度及并行任务比例,再判断需要通用 GPU、专用芯片还是混合部署。

来源