Aftercasting
芯片与算力
11月2日 星期一
11-0248分钟
创始人Sid Sheth认为，GPU适合高吞吐批处理，但低延迟交互需要不同的硬件取舍。d-Matrix以SRAM存内计算减少数据搬运，并计划堆叠定制DRAM；客户对精度和部署的要求也推动其调整设计、补齐系统。
原节目：
Startup Project ·
Why GPUs Aren't the Answer for Every AI Workload | Sid Sheth Founder and CEO of d-Matrix10月24日 星期六
10-241小时30分
Evan认为，贷款人难以为快速迭代的超级计算机定价，强信用客户因此可能比设备更关键。节目还讨论了制造能力难以复制，以及局部可解释性为何不足以预测模型行为。
原节目：
The Cognitive Revolution ·
AI:AM Highlights: Clean Neurons, Black October, the GPU Credit Crunch, and Buying the Supply Chain10月23日 星期五
10-231小时1分
Jassy表示，大客户预订和长期合同有助于判断需求，但数据中心需提前约两年投入，现金流压力仍在。他认为，大量现有企业应用尚未接入推理，Trainium等定制芯片有助于降低应用改造的成本门槛。
原节目：
a16z ·
Amazon CEO Andy Jassy on the $220 Billion AI Buildout10月22日 星期四
10-221小时26分
Erik Bernhardsson 说，固定数量、固定期限的 GPU 采购合同，与波动的推理和AI 智能体（Agent）负载并不匹配。Modal 通过汇聚客户需求、快速调度来提高容量利用率，但若价格和利用率同时下跌，长期采购承诺也会放大风险。
原节目：
Latent Space ·
Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO10-221小时9分
英特尔高管认为，现有设备基础或可支撑约两倍扩张，但更大规模增产受制于整条供应链。谈及2045年的芯片，他指出三维堆叠仍须跨过散热、良率和量产成本等门槛。
原节目：
Dwarkesh ·
What will computer chips look like in 2045?10月20日 星期二
10-2037分钟
SF Compute认为，GPU容量要成为可交易的商品，先得保证买家能在交付的集群上运行工作负载。芯片、互联和中断条件等差异让合约更准确，也可能分散流动性、拉大价差。
原节目：
Latent Space ·
The Programmable Data Center — Evan Conrad, SF Compute10月9日 星期五
10-0954分钟
Gelsinger 认为，设计提速后，制造、封装、内存带宽和部署周期会成为更突出的瓶颈。他对专用 AI 芯片的长期前景持保留意见，并指出数据中心若无法及时获得电力，算力就难以落地。
原节目：
a16z ·
Chips, Memory, and Power | Pat Gelsinger10月8日 星期四
10-0856分钟
Garman 指出，智能体会频繁创建短期资源，对 API 延迟、成本和任务级权限提出新要求。AWS 既要为大型实验室和初创公司分配算力，也须检验资本开支背后的客户集中度与实际利用率。
原节目：
a16z ·
Building the Cloud for an Agentic World | AWS CEO Matt Garman10月2日 星期五
10-0236分钟
Walter Goodwin称，高速、低批量推理需要反复读取模型权重和状态，增加算力并不足以解决问题。Fractile正探索从容量更大、成本更低的DRAM获取高带宽，以支持大模型和长上下文智能体，但效果仍待部署验证。
原节目：
No Priors ·
Frontier Chips for Frontier AI Labs, with Walter Goodwin, Founder/CEO of Fractile10月1日 星期四
10-011小时29分
节目指出，同型号 GPU 的云服务价格差异可能涉及合规服务和迁移成本。模型 token 价格指数上行，也可能是用户转向更贵模型，而非各模型普遍涨价。
原节目：
The Cognitive Revolution ·
AI:AM: Was Trump-Xi Anything? What Counts as Utopia? + AWS GPUs Cost 3X & AI Diagnoses Rare Diseases9月21日 星期一
09-2123分钟
Unconventional AI 联合创始人兼 CEO Naveen Rao 认为，能源可能比模型思路或芯片采购更早限制 AI 增长。他主张融合存储与计算，减少数据搬运能耗，并以每瓦智能提升 1000 倍为目标。
原节目：
All-In ·
Naveen Rao: 4D Computing, AI's Energy Wall & Beating Biology9月18日 星期五
09-1838分钟
联合创始人Stefano Ermon认为，下一轮AI竞争更看重每瓦、每美元的推理效率。其扩散式LLM可并行生成多个token；他称，语音智能体客户OpenCall因此能从Cerebras定制芯片切回普通Nvidia GPU。
原节目：
No Priors ·
Why Diffusion Will Win AI Inference with Inception Co-Founder and CEO Stefano Ermon9月17日 星期四
09-1744分钟
Dina Powell McCormick谈及数据中心对社区的影响，认为相关投资有助于当地经济和教育发展。她还介绍了Meta通过开源模型推动AI普及的方向，以及可穿戴技术带来的用户体验变化。
原节目：
All-In ·
Meta's Dina Powell McCormick: The Case for Data Centers, Backlash, AI Job Boom & Meta's Future9月3日 星期四
09-0337分钟
Rene Haas称，验证是AI应用的主战场，80%—90%的工程师每天使用AI。他认为数据中心建设可能成为下一瓶颈，而CPU将在token编排中发挥作用。
原节目：
No Priors ·
Redefining Chip Architecture with Arm CEO Rene Haas8月31日 星期一
08-311小时14分
Gavin Baker认为，市场可能仍低估了对AI能力的需求。他也提醒，技术泡沫和市场过度反应可能造成资源浪费；数据中心建设虽有经济和社会效益，也面临环境与资源挑战。
原节目：
a16z ·
Gavin Baker: Why AI Demand Is Outrunning Compute Supply8月30日 星期日
08-3025分钟
a16z合伙人Jen Kha介绍Machine Age Fund的投资逻辑：AI的发展需要更强的计算基础设施。她认为，早期布局和全球合作有助于技术推广，也可能让投资者在技术成熟后获得更大市场份额。
原节目：
a16z ·
Why a16z Launched the Machine Age Fund | Jen Kha8月28日 星期五
08-2854分钟
Ben Horowitz、Martin Casado等人讨论新基金及AI基础设施建设，话题涵盖芯片、内存、网络和电力。他们认为，资源瓶颈可能限制技术进一步发展。
原节目：
a16z ·
The Infrastructure Behind the Machine Age8月25日 星期二
08-251小时17分
SemiAnalysis 的 Dylan Patel 预计，OpenAI 与 Anthropic 明年可能吸收 40%—50% 的新增算力，到 2028 年末掌握全球多数可用 FLOP。他认为，高算力营收会让两家公司出更高价格争夺资源，进一步推高算力价格。
原节目：
Dwarkesh ·
Dylan Patel – Anthropic & OpenAI will have most of the world's compute by 20288月3日 星期一
08-031小时41分
Baseten 嘉宾指出，生产级推理不仅要让模型生成 token，还要兼顾量化质量、GPU 内核、分布式通信和可靠性。当流量达到每小时数百万 token，或需要流量专属的推测解码器时，专用部署可能比公共 API 更合适。
原节目：
Latent Space ·
The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten08-0311分钟
Patel认为，若前沿实验室营收年增10倍、总算力供给年增约3倍，利润率、算力价格或推理占比就必须发生变化。更强模型提高了算力的可变现价值，实验室为保住训练预算，可能愿意出更高价格争夺算力。
原节目：
Dwarkesh ·
Why smarter AI models could drive up compute prices 10x7月8日 星期三
07-0858分钟
Akshat Bubna 说，AI 负载可能在单一区域从约 1000 张 GPU 迅速扩至 1500 张，基础设施的难题不只是增加算力。Modal 正将产品设计从开发者体验转向智能体体验，同时坚持为沙箱安全设置硬边界。
原节目：
Latent Space ·
Why AI Infrastructure must evolve for Agent Experience — Akshat Bubna, Modal CTO7月2日 星期四
07-021小时1分
创始人兼 CEO Isaiah Taylor 表示，公司更重视快速迭代和规模化生产，而非复杂设计。他认为，美国能源部和行政命令的支持，以及风险投资，有助于加速核能技术开发。
原节目：
No Priors ·
How Nuclear Will Unlock Energy Abundance with Valar Atomics Founder Isaiah Taylor6月18日 星期四
06-1859分钟
Anjney Midha 认为，集群装满任务仍可能无法高效产出，节点利用率与 MFU 必须分开看。AMP 希望通过跨云、跨芯片的资源汇集，调度基础负载和可中断的弹性需求；他也提醒，社区支持会影响数据中心扩张。
原节目：
Latent Space ·
The Professor of Outputmaxxing — Anjney Midha, AMP6月9日 星期二
06-0925分钟
Dan Dreyfus与All-In主持人讨论美国关键矿物问题。节目也谈到中美对AI发展的态度差异，以及Nvidia和Salesforce财报所反映的科技业增长。
原节目：
All-In ·
Dan Dreyfus: America's Critical Minerals Crisis is Here3月23日 星期一
03-232小时32分
NVIDIA CEO 黄仁勋在访谈中称，AI 问题已超出单颗 GPU，超线性加速需要全栈共优化。他还回顾了 CUDA 如何借助 GeForce 的装机基础发展为计算平台，并讨论电力、供应链与 AI 工厂。
原节目：
Lex Fridman ·
#494 – Jensen Huang: NVIDIA – The $4 Trillion Company & the AI Revolution