Aftercasting
芯片与算力 11月2日 星期一
11-02 48分钟
创始人Sid Sheth认为,GPU适合高吞吐批处理,但低延迟交互需要不同的硬件取舍。d-Matrix以SRAM存内计算减少数据搬运,并计划堆叠定制DRAM;客户对精度和部署的要求也推动其调整设计、补齐系统。
原节目:
Startup Project ·
Why GPUs Aren't the Answer for Every AI Workload | Sid Sheth Founder and CEO of d-Matrix 11月1日 星期日
11-01 1小时2分
Modal CEO Erik Bernhardsson认为,推理需求远未见顶,但只卖低价算力或 token 难以形成持久差异。Modal将调度、沙箱和训练能力组合成平台;弹性计费方便客户,也让公司承担提前采购和需求预测的风险。
原节目:
The Twenty Minute VC (20VC) ·
20VC: Who Wins the Inference Market | Has Open-Source LLM Inference Peaked? | What Happens to the Cost of Compute | The Real Limits of Post-Training and RL with Erik Bernhardsson, Modal CEO 10月24日 星期六
10-24 1小时9分
Rao认为,能源供应和每份智能的能耗将决定AI扩张,模型与硬件需要协同优化。他还预测机器人市场可达编程智能体市场的百倍,但强调产品仍须从特定任务原型走向可靠交付。
原节目:
The Twenty Minute VC (20VC) ·
20VC: Why Robotics Will be 100x Bigger than Coding Agents | Inference Will Be a $10TRN Market: What No One Sees | Why Software Investors are F***** Today with Naveen Rao, Unconventional 10-24 1小时30分
Evan认为,贷款人难以为快速迭代的超级计算机定价,强信用客户因此可能比设备更关键。节目还讨论了制造能力难以复制,以及局部可解释性为何不足以预测模型行为。
原节目:
The Cognitive Revolution ·
AI:AM Highlights: Clean Neurons, Black October, the GPU Credit Crunch, and Buying the Supply Chain 10月23日 星期五
10-23 1小时1分
Jassy表示,大客户预订和长期合同有助于判断需求,但数据中心需提前约两年投入,现金流压力仍在。他认为,大量现有企业应用尚未接入推理,Trainium等定制芯片有助于降低应用改造的成本门槛。
原节目:
a16z ·
Amazon CEO Andy Jassy on the $220 Billion AI Buildout 10月22日 星期四
10-22 1小时26分
Erik Bernhardsson 说,固定数量、固定期限的 GPU 采购合同,与波动的推理和AI 智能体(Agent)负载并不匹配。Modal 通过汇聚客户需求、快速调度来提高容量利用率,但若价格和利用率同时下跌,长期采购承诺也会放大风险。
原节目:
Latent Space ·
Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO 10-22 1小时9分
英特尔高管认为,现有设备基础或可支撑约两倍扩张,但更大规模增产受制于整条供应链。谈及2045年的芯片,他指出三维堆叠仍须跨过散热、良率和量产成本等门槛。
原节目:
Dwarkesh ·
What will computer chips look like in 2045? 10月20日 星期二
10-20 37分钟
SF Compute认为,GPU容量要成为可交易的商品,先得保证买家能在交付的集群上运行工作负载。芯片、互联和中断条件等差异让合约更准确,也可能分散流动性、拉大价差。
原节目:
Latent Space ·
The Programmable Data Center — Evan Conrad, SF Compute 10月9日 星期五
10-09 54分钟
Gelsinger 认为,设计提速后,制造、封装、内存带宽和部署周期会成为更突出的瓶颈。他对专用 AI 芯片的长期前景持保留意见,并指出数据中心若无法及时获得电力,算力就难以落地。
原节目:
a16z ·
Chips, Memory, and Power | Pat Gelsinger 10月8日 星期四
10-08 56分钟
Garman 指出,智能体会频繁创建短期资源,对 API 延迟、成本和任务级权限提出新要求。AWS 既要为大型实验室和初创公司分配算力,也须检验资本开支背后的客户集中度与实际利用率。
原节目:
a16z ·
Building the Cloud for an Agentic World | AWS CEO Matt Garman 10月2日 星期五
10-02 36分钟
Walter Goodwin称,高速、低批量推理需要反复读取模型权重和状态,增加算力并不足以解决问题。Fractile正探索从容量更大、成本更低的DRAM获取高带宽,以支持大模型和长上下文智能体,但效果仍待部署验证。
原节目:
No Priors ·
Frontier Chips for Frontier AI Labs, with Walter Goodwin, Founder/CEO of Fractile 10月1日 星期四
10-01 1小时29分
节目指出,同型号 GPU 的云服务价格差异可能涉及合规服务和迁移成本。模型 token 价格指数上行,也可能是用户转向更贵模型,而非各模型普遍涨价。
原节目:
The Cognitive Revolution ·
AI:AM: Was Trump-Xi Anything? What Counts as Utopia? + AWS GPUs Cost 3X & AI Diagnoses Rare Diseases 9月21日 星期一
09-21 23分钟
Unconventional AI 联合创始人兼 CEO Naveen Rao 认为,能源可能比模型思路或芯片采购更早限制 AI 增长。他主张融合存储与计算,减少数据搬运能耗,并以每瓦智能提升 1000 倍为目标。
原节目:
All-In ·
Naveen Rao: 4D Computing, AI's Energy Wall & Beating Biology 9月18日 星期五
09-18 38分钟
联合创始人Stefano Ermon认为,下一轮AI竞争更看重每瓦、每美元的推理效率。其扩散式LLM可并行生成多个token;他称,语音智能体客户OpenCall因此能从Cerebras定制芯片切回普通Nvidia GPU。
原节目:
No Priors ·
Why Diffusion Will Win AI Inference with Inception Co-Founder and CEO Stefano Ermon 9月17日 星期四
09-17 44分钟
Dina Powell McCormick谈及数据中心对社区的影响,认为相关投资有助于当地经济和教育发展。她还介绍了Meta通过开源模型推动AI普及的方向,以及可穿戴技术带来的用户体验变化。
原节目:
All-In ·
Meta's Dina Powell McCormick: The Case for Data Centers, Backlash, AI Job Boom & Meta's Future 9月3日 星期四
09-03 37分钟
Rene Haas称,验证是AI应用的主战场,80%—90%的工程师每天使用AI。他认为数据中心建设可能成为下一瓶颈,而CPU将在token编排中发挥作用。
原节目:
No Priors ·
Redefining Chip Architecture with Arm CEO Rene Haas 8月31日 星期一
08-31 1小时14分
Gavin Baker认为,市场可能仍低估了对AI能力的需求。他也提醒,技术泡沫和市场过度反应可能造成资源浪费;数据中心建设虽有经济和社会效益,也面临环境与资源挑战。
原节目:
a16z ·
Gavin Baker: Why AI Demand Is Outrunning Compute Supply 8月30日 星期日
08-30 25分钟
a16z合伙人Jen Kha介绍Machine Age Fund的投资逻辑:AI的发展需要更强的计算基础设施。她认为,早期布局和全球合作有助于技术推广,也可能让投资者在技术成熟后获得更大市场份额。
原节目:
a16z ·
Why a16z Launched the Machine Age Fund | Jen Kha 8月28日 星期五
08-28 54分钟
Ben Horowitz、Martin Casado等人讨论新基金及AI基础设施建设,话题涵盖芯片、内存、网络和电力。他们认为,资源瓶颈可能限制技术进一步发展。
原节目:
a16z ·
The Infrastructure Behind the Machine Age 8月25日 星期二
08-25 1小时17分
SemiAnalysis 的 Dylan Patel 预计,OpenAI 与 Anthropic 明年可能吸收 40%—50% 的新增算力,到 2028 年末掌握全球多数可用 FLOP。他认为,高算力营收会让两家公司出更高价格争夺资源,进一步推高算力价格。
原节目:
Dwarkesh ·
Dylan Patel – Anthropic & OpenAI will have most of the world's compute by 2028 8月3日 星期一
08-03 1小时41分
Baseten 嘉宾指出,生产级推理不仅要让模型生成 token,还要兼顾量化质量、GPU 内核、分布式通信和可靠性。当流量达到每小时数百万 token,或需要流量专属的推测解码器时,专用部署可能比公共 API 更合适。
原节目:
Latent Space ·
The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten 08-03 11分钟
Patel认为,若前沿实验室营收年增10倍、总算力供给年增约3倍,利润率、算力价格或推理占比就必须发生变化。更强模型提高了算力的可变现价值,实验室为保住训练预算,可能愿意出更高价格争夺算力。
原节目:
Dwarkesh ·
Why smarter AI models could drive up compute prices 10x 7月8日 星期三
07-08 58分钟
Akshat Bubna 说,AI 负载可能在单一区域从约 1000 张 GPU 迅速扩至 1500 张,基础设施的难题不只是增加算力。Modal 正将产品设计从开发者体验转向智能体体验,同时坚持为沙箱安全设置硬边界。
原节目:
Latent Space ·
Why AI Infrastructure must evolve for Agent Experience — Akshat Bubna, Modal CTO 7月2日 星期四
07-02 1小时1分
创始人兼 CEO Isaiah Taylor 表示,公司更重视快速迭代和规模化生产,而非复杂设计。他认为,美国能源部和行政命令的支持,以及风险投资,有助于加速核能技术开发。
原节目:
No Priors ·
How Nuclear Will Unlock Energy Abundance with Valar Atomics Founder Isaiah Taylor 6月18日 星期四
06-18 59分钟
Anjney Midha 认为,集群装满任务仍可能无法高效产出,节点利用率与 MFU 必须分开看。AMP 希望通过跨云、跨芯片的资源汇集,调度基础负载和可中断的弹性需求;他也提醒,社区支持会影响数据中心扩张。
原节目:
Latent Space ·
The Professor of Outputmaxxing — Anjney Midha, AMP 6月9日 星期二
06-09 25分钟
Dan Dreyfus与All-In主持人讨论美国关键矿物问题。节目也谈到中美对AI发展的态度差异,以及Nvidia和Salesforce财报所反映的科技业增长。
原节目:
All-In ·
Dan Dreyfus: America's Critical Minerals Crisis is Here 3月23日 星期一
03-23 2小时32分
NVIDIA CEO 黄仁勋在访谈中称,AI 问题已超出单颗 GPU,超线性加速需要全栈共优化。他还回顾了 CUDA 如何借助 GeForce 的装机基础发展为计算平台,并讨论电力、供应链与 AI 工厂。
原节目:
Lex Fridman ·
#494 – Jensen Huang: NVIDIA – The $4 Trillion Company & the AI Revolution 11/04 新增 2 集
Scott Kupor:a16z将创始人服务交给专门团队 a16z Show:消费级AI智能体应重结果、控权限 🎧 今日语音简报与播放列表 › Aftercasting · More signal, less time.
订阅周报
本站不托管媒体;版权归原作者与平台;下架/授权 contact@aftercasting.com