[芯片与算力]Modal汇集约25家NeoCloud算力,按GPU秒计费精选深度
Modal CEO Erik Bernhardsson认为,推理需求远未见顶,但只卖低价算力或 token 难以形成持久差异。Modal将调度、沙箱和训练能力组合成平台;弹性计费方便客户,也让公司承担提前采购和需求预测的风险。
Modal CEO Erik Bernhardsson认为,推理需求远未见顶,但只卖低价算力或 token 难以形成持久差异。Modal将调度、沙箱和训练能力组合成平台;弹性计费方便客户,也让公司承担提前采购和需求预测的风险。
Rao认为,能源供应和每份智能的能耗将决定AI扩张,模型与硬件需要协同优化。他还预测机器人市场可达编程智能体市场的百倍,但强调产品仍须从特定任务原型走向可靠交付。
Erik Bernhardsson 说,固定数量、固定期限的 GPU 采购合同,与波动的推理和AI 智能体(Agent)负载并不匹配。Modal 通过汇聚客户需求、快速调度来提高容量利用率,但若价格和利用率同时下跌,长期采购承诺也会放大风险。
SemiAnalysis 的 Dylan Patel 预计,OpenAI 与 Anthropic 明年可能吸收 40%—50% 的新增算力,到 2028 年末掌握全球多数可用 FLOP。他认为,高算力营收会让两家公司出更高价格争夺资源,进一步推高算力价格。
Baseten 嘉宾指出,生产级推理不仅要让模型生成 token,还要兼顾量化质量、GPU 内核、分布式通信和可靠性。当流量达到每小时数百万 token,或需要流量专属的推测解码器时,专用部署可能比公共 API 更合适。
创始人兼 CEO Isaiah Taylor 表示,公司更重视快速迭代和规模化生产,而非复杂设计。他认为,美国能源部和行政命令的支持,以及风险投资,有助于加速核能技术开发。
NVIDIA CEO 黄仁勋在访谈中称,AI 问题已超出单颗 GPU,超线性加速需要全栈共优化。他还回顾了 CUDA 如何借助 GeForce 的装机基础发展为计算平台,并讨论电力、供应链与 AI 工厂。