Aftercasting

芯片与算力

11月1日 星期日
11-011小时2分

[芯片与算力]Modal汇集约25家NeoCloud算力,按GPU秒计费精选深度

Modal CEO Erik Bernhardsson认为,推理需求远未见顶,但只卖低价算力或 token 难以形成持久差异。Modal将调度、沙箱和训练能力组合成平台;弹性计费方便客户,也让公司承担提前采购和需求预测的风险。

原节目:The Twenty Minute VC (20VC) · 20VC: Who Wins the Inference Market | Has Open-Source LLM Inference Peaked? | What Happens to the Cost of Compute | The Real Limits of Post-Training and RL with Erik Bernhardsson, Modal CEO
10月24日 星期六
10-241小时9分

[芯片与算力]Naveen Rao预测十年内AI推理市场达10万亿美元精选深度

Rao认为,能源供应和每份智能的能耗将决定AI扩张,模型与硬件需要协同优化。他还预测机器人市场可达编程智能体市场的百倍,但强调产品仍须从特定任务原型走向可靠交付。

原节目:The Twenty Minute VC (20VC) · 20VC: Why Robotics Will be 100x Bigger than Coding Agents | Inference Will Be a $10TRN Market: What No One Sees | Why Software Investors are F***** Today with Naveen Rao, Unconventional
10月23日 星期五
10-231小时1分

[芯片与算力]亚马逊2026年拟投2200亿美元,Jassy称AI算力仍短缺精选深度

Jassy表示,大客户预订和长期合同有助于判断需求,但数据中心需提前约两年投入,现金流压力仍在。他认为,大量现有企业应用尚未接入推理,Trainium等定制芯片有助于降低应用改造的成本门槛。

原节目:a16z · Amazon CEO Andy Jassy on the $220 Billion AI Buildout
10月22日 星期四
10-221小时26分

[芯片与算力]Modal CEO:将长期GPU合同转为弹性算力精选深度

Erik Bernhardsson 说,固定数量、固定期限的 GPU 采购合同,与波动的推理和AI 智能体(Agent)负载并不匹配。Modal 通过汇聚客户需求、快速调度来提高容量利用率,但若价格和利用率同时下跌,长期采购承诺也会放大风险。

原节目:Latent Space · Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO
10月8日 星期四
10-0856分钟

[芯片与算力]AWS CEO Matt Garman:智能体改变云资源调用精选

Garman 指出,智能体会频繁创建短期资源,对 API 延迟、成本和任务级权限提出新要求。AWS 既要为大型实验室和初创公司分配算力,也须检验资本开支背后的客户集中度与实际利用率。

原节目:a16z · Building the Cloud for an Agentic World | AWS CEO Matt Garman
9月18日 星期五
09-1838分钟

[芯片与算力]Inception CEO称Mercury推理速度快约5至10倍精选

联合创始人Stefano Ermon认为,下一轮AI竞争更看重每瓦、每美元的推理效率。其扩散式LLM可并行生成多个token;他称,语音智能体客户OpenCall因此能从Cerebras定制芯片切回普通Nvidia GPU。

原节目:No Priors · Why Diffusion Will Win AI Inference with Inception Co-Founder and CEO Stefano Ermon
9月3日 星期四
8月25日 星期二
08-251小时17分

[芯片与算力]Dylan Patel:两家AI公司2028年或掌握多数算力精选深度

SemiAnalysis 的 Dylan Patel 预计,OpenAI 与 Anthropic 明年可能吸收 40%—50% 的新增算力,到 2028 年末掌握全球多数可用 FLOP。他认为,高算力营收会让两家公司出更高价格争夺资源,进一步推高算力价格。

原节目:Dwarkesh · Dylan Patel – Anthropic & OpenAI will have most of the world's compute by 2028
8月3日 星期一
08-031小时41分

[芯片与算力]Baseten:推测解码效果取决于真实流量匹配精选深度

Baseten 嘉宾指出,生产级推理不仅要让模型生成 token,还要兼顾量化质量、GPU 内核、分布式通信和可靠性。当流量达到每小时数百万 token,或需要流量专属的推测解码器时,专用部署可能比公共 API 更合适。

原节目:Latent Space · The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten
7月8日 星期三
07-0858分钟

[芯片与算力]Modal CTO:AI 云基础设施须适应智能体工作负载精选

Akshat Bubna 说,AI 负载可能在单一区域从约 1000 张 GPU 迅速扩至 1500 张,基础设施的难题不只是增加算力。Modal 正将产品设计从开发者体验转向智能体体验,同时坚持为沙箱安全设置硬边界。

原节目:Latent Space · Why AI Infrastructure must evolve for Agent Experience — Akshat Bubna, Modal CTO
3月23日 星期一
03-232小时32分

[芯片与算力]黄仁勋:AI加速须从单GPU转向全栈共设计精选深度

NVIDIA CEO 黄仁勋在访谈中称,AI 问题已超出单颗 GPU,超线性加速需要全栈共优化。他还回顾了 CUDA 如何借助 GeForce 的装机基础发展为计算平台,并讨论电力、供应链与 AI 工厂。

原节目:Lex Fridman · #494 – Jensen Huang: NVIDIA – The $4 Trillion Company & the AI Revolution