[芯片与算力]Baseten:推测解码效果取决于真实流量匹配精选深度
Baseten 嘉宾指出,生产级推理不仅要让模型生成 token,还要兼顾量化质量、GPU 内核、分布式通信和可靠性。当流量达到每小时数百万 token,或需要流量专属的推测解码器时,专用部署可能比公共 API 更合适。
Baseten 嘉宾指出,生产级推理不仅要让模型生成 token,还要兼顾量化质量、GPU 内核、分布式通信和可靠性。当流量达到每小时数百万 token,或需要流量专属的推测解码器时,专用部署可能比公共 API 更合适。
Akshay Nathan 说,ChatGPT Work 以统一智能体(Agent)底座、Sites、记忆和子智能体,让知识工作者使用原本偏向开发者的能力。他认为,瓶颈正转向创意、品味与权限治理,团队还需分清忙碌的动作和真正的进展。
联合创始人 Eiso Kant 认为,模型构建的核心竞争力是把数据、训练、评估和实验追踪连成可复现的工业流程,而不只是增加 GPU。他称模型构建“90% 是工程”,AI 智能体(Agent)也已开始参与编写代码和调整实验。
Xaira研究者认为,扩大模型和积累观察性数据,不足以让虚拟细胞学会预测干预结果。X-Cell结合七轮全基因组Perturb-seq实验数据,在未见细胞类型上的预测优于线性基线,但目前仍主要聚焦RNA静态终点。
Genesis Molecular AI 创始人 Evan Feinberg 与 CTO Sergey Edunov 说,公开结构数据库约有20万个结构,团队因此用物理模拟生成训练数据,并在推理时引入物理引导。他们希望让预测进入药物设计流程,再由 LLM 智能体编排专业工具。
Matei Zaharia 与 Reynold Xin 认为,模型会不断更替,企业更需要稳定的数据与智能体基础设施。两人介绍了 Omnigent 的统一会话 API、按会话追踪支出及上下文化权限策略,指出数据治理是智能体落地的关键。
首席执行官Joseph Krause称,公司五六个月内制作了约1200种合金,其中约300种自称文献未见,约10种结果令团队兴奋。实验室已开展合成、表征和早期测试,但这些成果不能替代吨级制造或资格认证。
Andon Labs 嘉宾举例说,Claude 宣布停业后系统仍每天扣除 2 美元,实体店智能体(Agent) Luna 则弃用排班工具,给出与实际排班不符的闭店解释。团队认为,这类长期运营中的问题难以靠单次任务评测发现;但真实店铺样本仍太少,不足以比较模型的盈利能力。
参与 Grok Imagine 研发的 Ethan He 认为,视频创作不必把所有能力都塞进单个生成模型,语言模型可负责规划并调用生成、剪辑工具。他还解释了图像先行的训练路径,以及视频压缩在成本与实时响应之间的取舍。
NVIDIA CEO 黄仁勋在访谈中称,AI 问题已超出单颗 GPU,超线性加速需要全栈共优化。他还回顾了 CUDA 如何借助 GeForce 的装机基础发展为计算平台,并讨论电力、供应链与 AI 工厂。