Aftercasting

芯片与算力

11月2日 星期一
11-0248分钟

[芯片与算力]d-Matrix押注存内计算,瞄准低延迟AI推理

创始人Sid Sheth认为,GPU适合高吞吐批处理,但低延迟交互需要不同的硬件取舍。d-Matrix以SRAM存内计算减少数据搬运,并计划堆叠定制DRAM;客户对精度和部署的要求也推动其调整设计、补齐系统。

原节目:Startup Project · Why GPUs Aren't the Answer for Every AI Workload | Sid Sheth Founder and CEO of d-Matrix
11月1日 星期日
11-011小时2分

[芯片与算力]Modal汇集约25家NeoCloud算力,按GPU秒计费精选深度

Modal CEO Erik Bernhardsson认为,推理需求远未见顶,但只卖低价算力或 token 难以形成持久差异。Modal将调度、沙箱和训练能力组合成平台;弹性计费方便客户,也让公司承担提前采购和需求预测的风险。

原节目:The Twenty Minute VC (20VC) · 20VC: Who Wins the Inference Market | Has Open-Source LLM Inference Peaked? | What Happens to the Cost of Compute | The Real Limits of Post-Training and RL with Erik Bernhardsson, Modal CEO
10月24日 星期六
10-241小时9分

[芯片与算力]Naveen Rao预测十年内AI推理市场达10万亿美元精选深度

Rao认为,能源供应和每份智能的能耗将决定AI扩张,模型与硬件需要协同优化。他还预测机器人市场可达编程智能体市场的百倍,但强调产品仍须从特定任务原型走向可靠交付。

原节目:The Twenty Minute VC (20VC) · 20VC: Why Robotics Will be 100x Bigger than Coding Agents | Inference Will Be a $10TRN Market: What No One Sees | Why Software Investors are F***** Today with Naveen Rao, Unconventional
10-241小时30分

[芯片与算力]Evan称GPU集群扩建受信贷约束

Evan认为,贷款人难以为快速迭代的超级计算机定价,强信用客户因此可能比设备更关键。节目还讨论了制造能力难以复制,以及局部可解释性为何不足以预测模型行为。

原节目:The Cognitive Revolution · AI:AM Highlights: Clean Neurons, Black October, the GPU Credit Crunch, and Buying the Supply Chain
10月23日 星期五
10-231小时1分

[芯片与算力]亚马逊2026年拟投2200亿美元,Jassy称AI算力仍短缺精选深度

Jassy表示,大客户预订和长期合同有助于判断需求,但数据中心需提前约两年投入,现金流压力仍在。他认为,大量现有企业应用尚未接入推理,Trainium等定制芯片有助于降低应用改造的成本门槛。

原节目:a16z · Amazon CEO Andy Jassy on the $220 Billion AI Buildout
10月22日 星期四
10-221小时26分

[芯片与算力]Modal CEO:将长期GPU合同转为弹性算力精选深度

Erik Bernhardsson 说,固定数量、固定期限的 GPU 采购合同,与波动的推理和AI 智能体(Agent)负载并不匹配。Modal 通过汇聚客户需求、快速调度来提高容量利用率,但若价格和利用率同时下跌,长期采购承诺也会放大风险。

原节目:Latent Space · Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO
10月20日 星期二
10月9日 星期五
10-0954分钟

[芯片与算力]Pat Gelsinger:AI加快芯片设计,供电仍制约算力交付

Gelsinger 认为,设计提速后,制造、封装、内存带宽和部署周期会成为更突出的瓶颈。他对专用 AI 芯片的长期前景持保留意见,并指出数据中心若无法及时获得电力,算力就难以落地。

原节目:a16z · Chips, Memory, and Power | Pat Gelsinger
10月8日 星期四
10-0856分钟

[芯片与算力]AWS CEO Matt Garman:智能体改变云资源调用精选

Garman 指出,智能体会频繁创建短期资源,对 API 延迟、成本和任务级权限提出新要求。AWS 既要为大型实验室和初创公司分配算力,也须检验资本开支背后的客户集中度与实际利用率。

原节目:a16z · Building the Cloud for an Agentic World | AWS CEO Matt Garman
10月2日 星期五
10-0236分钟

[芯片与算力]Fractile创始人:前沿AI推理瓶颈在内存带宽与成本

Walter Goodwin称,高速、低批量推理需要反复读取模型权重和状态,增加算力并不足以解决问题。Fractile正探索从容量更大、成本更低的DRAM获取高带宽,以支持大模型和长上下文智能体,但效果仍待部署验证。

原节目:No Priors · Frontier Chips for Frontier AI Labs, with Walter Goodwin, Founder/CEO of Fractile
10月1日 星期四
10-011小时29分

[芯片与算力]AWS GPU 成本约为新兴云三倍

节目指出,同型号 GPU 的云服务价格差异可能涉及合规服务和迁移成本。模型 token 价格指数上行,也可能是用户转向更贵模型,而非各模型普遍涨价。

原节目:The Cognitive Revolution · AI:AM: Was Trump-Xi Anything? What Counts as Utopia? + AWS GPUs Cost 3X & AI Diagnoses Rare Diseases
9月21日 星期一
09-2123分钟

[芯片与算力]Naveen Rao提出4D计算,目标三年半内提升千倍能效

Unconventional AI 联合创始人兼 CEO Naveen Rao 认为,能源可能比模型思路或芯片采购更早限制 AI 增长。他主张融合存储与计算,减少数据搬运能耗,并以每瓦智能提升 1000 倍为目标。

原节目:All-In · Naveen Rao: 4D Computing, AI's Energy Wall & Beating Biology
9月18日 星期五
09-1838分钟

[芯片与算力]Inception CEO称Mercury推理速度快约5至10倍精选

联合创始人Stefano Ermon认为,下一轮AI竞争更看重每瓦、每美元的推理效率。其扩散式LLM可并行生成多个token;他称,语音智能体客户OpenCall因此能从Cerebras定制芯片切回普通Nvidia GPU。

原节目:No Priors · Why Diffusion Will Win AI Inference with Inception Co-Founder and CEO Stefano Ermon
9月17日 星期四
09-1744分钟

[芯片与算力]Meta高管称数据中心投资带动当地经济与教育

Dina Powell McCormick谈及数据中心对社区的影响,认为相关投资有助于当地经济和教育发展。她还介绍了Meta通过开源模型推动AI普及的方向,以及可穿戴技术带来的用户体验变化。

原节目:All-In · Meta's Dina Powell McCormick: The Case for Data Centers, Backlash, AI Job Boom & Meta's Future
9月3日 星期四
8月31日 星期一
8月30日 星期日
8月28日 星期五
8月25日 星期二
08-251小时17分

[芯片与算力]Dylan Patel:两家AI公司2028年或掌握多数算力精选深度

SemiAnalysis 的 Dylan Patel 预计,OpenAI 与 Anthropic 明年可能吸收 40%—50% 的新增算力,到 2028 年末掌握全球多数可用 FLOP。他认为,高算力营收会让两家公司出更高价格争夺资源,进一步推高算力价格。

原节目:Dwarkesh · Dylan Patel – Anthropic & OpenAI will have most of the world's compute by 2028
8月3日 星期一
08-031小时41分

[芯片与算力]Baseten:推测解码效果取决于真实流量匹配精选深度

Baseten 嘉宾指出,生产级推理不仅要让模型生成 token,还要兼顾量化质量、GPU 内核、分布式通信和可靠性。当流量达到每小时数百万 token,或需要流量专属的推测解码器时,专用部署可能比公共 API 更合适。

原节目:Latent Space · The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten
08-0311分钟

[芯片与算力]Dwarkesh Patel:更强AI模型或推高算力价格10倍

Patel认为,若前沿实验室营收年增10倍、总算力供给年增约3倍,利润率、算力价格或推理占比就必须发生变化。更强模型提高了算力的可变现价值,实验室为保住训练预算,可能愿意出更高价格争夺算力。

原节目:Dwarkesh · Why smarter AI models could drive up compute prices 10x
7月8日 星期三
07-0858分钟

[芯片与算力]Modal CTO:AI 云基础设施须适应智能体工作负载精选

Akshat Bubna 说,AI 负载可能在单一区域从约 1000 张 GPU 迅速扩至 1500 张,基础设施的难题不只是增加算力。Modal 正将产品设计从开发者体验转向智能体体验,同时坚持为沙箱安全设置硬边界。

原节目:Latent Space · Why AI Infrastructure must evolve for Agent Experience — Akshat Bubna, Modal CTO
7月2日 星期四
07-021小时1分

[芯片与算力]Valar Atomics创始人称核能复兴关键在硬件执行深度

创始人兼 CEO Isaiah Taylor 表示,公司更重视快速迭代和规模化生产,而非复杂设计。他认为,美国能源部和行政命令的支持,以及风险投资,有助于加速核能技术开发。

原节目:No Priors · How Nuclear Will Unlock Energy Abundance with Valar Atomics Founder Isaiah Taylor
6月18日 星期四
06-1859分钟

[芯片与算力]AMP 创始人:节点分配率不等于算力有效利用率

Anjney Midha 认为,集群装满任务仍可能无法高效产出,节点利用率与 MFU 必须分开看。AMP 希望通过跨云、跨芯片的资源汇集,调度基础负载和可中断的弹性需求;他也提醒,社区支持会影响数据中心扩张。

原节目:Latent Space · The Professor of Outputmaxxing — Anjney Midha, AMP
6月9日 星期二
3月23日 星期一
03-232小时32分

[芯片与算力]黄仁勋:AI加速须从单GPU转向全栈共设计精选深度

NVIDIA CEO 黄仁勋在访谈中称,AI 问题已超出单颗 GPU,超线性加速需要全栈共优化。他还回顾了 CUDA 如何借助 GeForce 的装机基础发展为计算平台,并讨论电力、供应链与 AI 工厂。

原节目:Lex Fridman · #494 – Jensen Huang: NVIDIA – The $4 Trillion Company & the AI Revolution