这集讲什么
Naveen Rao 主张以融合存储与计算的 4D 动力计算重做 AI 硬件底座,目标三年半内将每瓦智能提升 1000 倍以跨越能源墙。
1-3要点
- AI 的增长上限可能首先来自能源,而非模型想法或芯片采购量,因为电力合同已经成为数据中心建设的起点。
- 传统计算把内存与计算分离,主要能耗来自二者之间及芯片内外的数据搬运。
- 生物大脑用远低于数字计算系统的功耗完成感知与控制,说明当前硬件并未逼近智能计算的物理效率边界。
Naveen Rao: 4D Computing, AI's Energy Wall & Beating Biology
播出信息
- 日期:2026-09-21 PT
- 嘉宾:Naveen Rao,Unconventional AI 联合创始人兼 CEO
- 场合:AI 主题现场演讲,随后由 Chamath 进行产品化、模型迁移与团队建设问答
- 标题:Naveen Rao: 4D Computing, AI's Energy Wall & Beating Biology
- 时长:约 22 分 35 秒
- 转写提示:开场 ASR 将 Rao 识别为“Ralph”,另有 ChatGPT、joule、gigawatt、nano 等词的识别或单位缺失问题,本文不据此补造数据
背景
Rao 从小学习编程,后来成为电气工程师,并在从事计算机开发后取得神经科学博士学位。他称自己在 2014 年创办 Nirvana Systems,当时 AI 尚未进入大众常用语境;公司出售给 Intel 后,他创建并领导 Intel 的 AI 团队。
2020 年后,Rao 转向解决大模型基础设施问题,通过平台化 GPU 来降低扩展和使用门槛。ChatGPT 出现后,这项业务迅速增长,并于 2023 年与 Databricks 合并;他称该业务目前贡献 Databricks 总收入的四分之一。
他现在领导 Unconventional AI,从理论、模型、芯片电路到系统和机架重新设计计算机,核心目标不是继续追求传统意义上的速度,而是减少数据搬运,以大幅提高“每瓦智能”。
节目结构 / 议程
- 从 AI 芯片创业者到重做计算机 — 00:30 🎧 · ▶️
- Token 经济正在撞上能源墙 — 04:45 🎧 · ▶️
- 生物大脑证明低功耗智能并非不可能 — 10:24 🎧 · ▶️
- 删掉抽象中间层,让物理系统直接计算 — 12:01 🎧 · ▶️
- UNO、状态空间轨迹与稀疏连接 — 13:16 🎧 · ▶️
- 五个月造出首个物理动力计算原型 — 15:48 🎧 · ▶️
- 4D 计算、每瓦智能与超越生物 — 17:06 🎧 · ▶️
- Chamath 追问产品形态与模型迁移 — 19:46 🎧 · ▶️
- 跨学科团队与 Python 软件桥梁 — 21:48 🎧 · ▶️
分节详解
1)从 AI 芯片创业者到重做计算机 — 00:30 🎧 · ▶️
💬 他们说了什么:
- Rao 自称是 AI 悲观论者的反面,认为 AI 是人类创造过最具变革性的技术之一。
- 他从电气工程转向神经科学,长期目标都是理解如何制造智能机器。
- 他回顾了 Nirvana Systems、Intel AI 团队、GPU 平台业务和 2023 年加入 Databricks 的经历。
- Unconventional AI 的新目标,是从第一性原理重新设计计算机,并在三年半内实现 1000 倍能效提升。
💡 为什么重要: 这不是单独优化芯片算子,而是把理论、模型、电路、系统和产品纳入同一设计闭环。Rao 还称目标期限已从五年缩短至三年半,理由是 AI 加快了深层科学问题的解决。
⚡ 争议点: “1000 倍”和“三年半”均为公司目标,不是已经由量产产品验证的结果;所谓 AI 加速科学突破也未给出可独立检查的案例。
2)Token 经济正在撞上能源墙 — 04:45 🎧 · ▶️
💬
- Rao 引用 Google 的公开数据称,其每月处理超过 3.2 quadrillion tokens。
- 以每 token 10 joules 估算,他得到约 12 gigawatts,并称美国数据中心总用电约 40 gigawatts。
- 他估计按模型变大和需求增长的趋势,能源可能在大约三年内成为严重约束。
- 数据中心的首要稀缺资源已从楼面、网络和 GPU 转向电力合同,服务一个 token 的成本约有 50% 来自能源。
💡 如果电力成为固定上限,竞争指标就会从单颗芯片速度转向每瓦可交付多少 token。Rao 因而把商业模式概括为:拿到电力合同后,比现有硬件更有效地变现每一瓦。
⚡ 这些数字是演讲中的估算,未展示 Google 数据口径、模型组合、利用率及成本拆分方法;“三年耗尽能源”也属于趋势判断。
3)生物大脑证明低功耗智能并非不可能 — 10:24 🎧 · ▶️
💬
- 人脑功耗约 20 瓦,猴脑约 1 瓦,老鼠和蝙蝠等动物的大脑则处在 milliwatts 级别。
- 他称松鼠大脑只消耗“8 milli”的能量,却能极其准确地在树枝间跳跃。
- 人类皮层每秒只搬运约 160 亿 bits,而高端 GPU 系统每秒进出外部内存的数据接近 30 万亿 bits。
- Rao 将合成系统的高耗能主要归因于数据搬运,而非计算本身。
💡 生物系统在功耗与行为能力之间形成了强烈反差,为“计算架构仍有巨大改进空间”提供直觉。Rao 的突破口不是让传统计算更快,而是让信息少移动。
⚡ 动物大脑与 GPU 承担的任务、精度和吞吐量并不相同,不能仅凭瓦数直接比较;“8 milli”的完整单位在转写中缺失。
4)删掉抽象中间层,让物理系统直接计算 — 12:01 🎧 · ▶️
💬
- 传统计算机把晶体管工程化为 0 和 1,再逐层叠加数字逻辑、线性代数与神经网络等抽象。
- Rao 认为每一层抽象都会丢失底层物理复杂性,并引入效率损耗。
- Unconventional AI 试图把半导体物理的抽象直接连接到神经网络,让元件的动力学行为承担计算。
- 他用节拍器在可移动木板上自动同步的现象解释动力系统:简单局部作用可以产生整体有序行为。
💡 这条路线不是在冯·诺依曼架构上继续堆并行度,而是把物理演化本身变成算法的一部分。若成立,计算和状态变化不再需要大量往返于独立内存。
⚡ 从节拍器同步到可训练的生成模型仍存在巨大工程跨度,直觉示例本身不能证明系统能以足够精度和规模替代现有硬件。
5)UNO、状态空间轨迹与稀疏连接 — 13:16 🎧 · ▶️
💬
- 团队发布并开源了名为 UNO 的图像生成模型,以一组振荡器为基础进行模拟和训练。
- 不同生成条件会让系统沿不同状态空间轨迹随时间演化,从而生成飞机、汽车或鸟等图像。
- 全连接系统从 10 个元素的 100 条连接增长到 1000 个元素的 100 万条连接,呈平方级扩张。
- Rao 称通过稀疏化删除部分连接后,系统不仅更高效和可扩展,还会更容易训练,并已在模拟与真实物理系统中观察到效果。
💡 稀疏性同时触及计算量、物理互连和训练难度,是动力计算能否扩展的关键。如果减少连接还能改善行为,就可能避开全连接动力系统的规模瓶颈。
⚡ 演讲未提供 UNO 的质量基准、与主流生成模型的对照或稀疏率,因此“性能更好”的适用范围尚不清楚。
6)五个月造出首个物理动力计算原型 — 15:48 🎧 · ▶️
💬
- Rao 宣布团队在五个月内造出了其所称的“首个物理动力计算机”,公司一月才正式启动。
- 芯片设计于 6 月 1 日送交晶圆厂,芯片已经回到实验室并产生结果。
- 他展示了由该计算机生成的图像,并称同一机制也能处理序列建模和语言模型任务。
- 转写记录其单张图像能耗约为“500 nano”,而普通 GPU 在“milli”量级,原因是新系统几乎不搬运信息。
💡 这是整场演讲从模拟模型跨入实体芯片的关键证据,说明团队至少已完成设计、流片、回片和初步运行链路。它也是 1000 倍路线中最接近可实验验证的部分。
⚡ “首个”的定义、测量条件和完整单位均未披露;图像结果也不能直接代表语言模型质量、吞吐量或生产可靠性。
7)4D 计算、每瓦智能与超越生物 — 17:06 🎧 · ▶️
💬
- 动力计算机把计算与记忆放入同一个元件,不设置传统的独立内存接口,每个计算单元本身也是记忆。
- “4D”由芯片平面与垂直堆叠的三个物理维度,加上动力系统演化的时间维度组成。
- Rao 称现有计算距离热力学极限约 100 亿倍,而哺乳动物大脑距该极限只有一到两个数量级。
- 公司希望三年半内触及 2D lithography 的极限,长期目标则是“击败生物”,让计算进入本地系统和新型机器人形态。
💡 这将优化目标从 FLOPS 或单线程性能改成“每瓦智能”。其潜在结果不仅是大型数据中心降本,也可能是计算从 gigawatt 级中心设施向许多小型、本地化数据中心迁移。
⚡ “智能”尚未给出统一测量指标,热力学极限、动物大脑与 AI 芯片之间也缺少同任务基准;“击败生物”目前是愿景而非结论。
8)Chamath 追问产品形态与模型迁移 — 19:46 🎧 · ▶️
💬
- Chamath 追问晶圆厂、封装商和周边生态如何把早期原型转化为用户可用产品。
- Rao 预计两年内做成完整产品,首个形态不是手持芯片,而是面向数据中心的整机架系统。
- 对用户而言,接口仍是通过网络线缆输入和输出 token,但机架内部工作方式与现有计算机完全不同。
- 现有模型可以迁移,但迁移发生在模型层而不是算子层,并需要相当多的计算完成转换。
💡 以“token in、token out”封装全新架构,可以尽量隔离客户与底层物理差异;但模型层迁移意味着它并非无需改动的 GPU 替换品。
⚡ 两年产品化时间表没有配套制造、可靠性、软件兼容或客户验证里程碑,迁移所需的“相当多计算”也没有量化。
9)跨学科团队与 Python 软件桥梁 — 21:48 🎧 · ▶️
💬
- 团队同时招募动力系统理论研究者和真正设计芯片的工程师,而动力系统理论已有约 100 年历史。
- Rao 说两类人才原本“互相不说话”,让跨度极大的专业人员协调制造同一产品,是公司的主要挑战之一。
- 团队已建立一组 Python 库,用来表达具有随机行为、随时间变化的元素。
- 这套工具不是 CUDA,但承担了让上层模型表达与底层芯片实现沟通的语言角色。
💡 新硬件的壁垒不仅在电路,也在能否形成可供模型开发者使用的软件抽象。Python 库可能是连接理论、模型和芯片团队的最早期工具链入口。
⚡ 转写未展示库的 API、编译流程、调试方法和开放程度,因此它与成熟开发生态之间还有多大距离无法判断。
人物与机构
- Naveen Rao:Unconventional AI 联合创始人兼 CEO;曾创办 Nirvana Systems,并创建、领导 Intel 的 AI 团队。
- Chamath:演讲后的提问者,重点追问产品时间表、现有模型迁移及团队构成。
- Unconventional AI:从理论、模型、电路到系统进行垂直整合,开发物理动力计算机。
- Nirvana Systems:Rao 于 2014 年创办的 AI 芯片公司,后来出售给 Intel。
- Intel:Rao 在出售 Nirvana Systems 后创建并领导 AI 团队的公司。
- Databricks:Rao 的 GPU 平台业务于 2023 年与其合并;他称该业务贡献其当前总收入的四分之一。
- Google:Rao 用其公开披露的 token 规模估算 AI 服务的能源需求。
- UNO:团队开源的振荡器式图像生成模型,用于展示动力系统可以训练并产生有用输出。
- ENIAC:Rao 用来说明传统计算机从早期就围绕速度和数据搬运设计的历史例子。
- Jensen:Chamath 提到的同场较早演讲者;转写未进一步提供其身份信息。
金句
-
“我认为,在能够创造某物之前,我们并不真正理解它。” “I don't think you really understand something until you can build it.”
-
“仅仅因为某件事曾经被尝试过,并不意味着它就是错的。” “Just because something is tried does not mean it's wrong.”
-
“我们要切掉中间人。” “We cut out the middleman.”
-
“每个独立的计算元件都是一份记忆。” “Each individual computing element is a memory.”
-
“我们关心的是每瓦智能。” “Intelligence per watt is what we care about.”
-
“这家公司的总体目标是击败生物。” “The overarching goal of this company is to beat biology.”
洞见与延伸背景
- 能源墙并不是“电费上涨”这么简单,而是电力供应开始决定数据中心是否能够继续部署 GPU,并直接限制 token 产能。
- Rao 的技术假设可压缩为一条因果链:数据搬运主导能耗,存算分离导致搬运,因此要让计算、状态和物理演化发生在同一元件中。
- 4D 不是指四维芯片实体,而是三个物理维度加时间维度;时间中的状态演化本身就是计算过程。
- 首个商业产品选择整机架,说明团队暂不试图把芯片塞进现有服务器插槽,而是把新物理机制封装成网络可调用系统。
- 兼容策略并非逐算子复刻现有 GPU,而是在模型层完成转换;这既允许底层彻底改变,也带来迁移计算和模型验证成本。
- 评估这类架构不能只看单次演示能耗,还应同时观察输出质量、吞吐量、模型容量、训练稳定性、制造良率和系统可靠性;这些是从原型走向产品必须补齐的证据维度。
- 如果接口能够保持 token 输入输出不变,早期客户或许不必理解内部动力系统;但开发者是否愿意迁移,仍取决于整体优势能否覆盖软件改造成本。
- 即使单次计算能耗下降,总能源消耗也未必下降,因为更低成本可能扩大需求;这正是演讲引用 Jevons paradox 时强调的市场后果。
争议与需核实
- “首个物理动力计算机”是 Rao 的自我定位,需要明确“动力计算机”的定义及与既有物理、模拟或神经形态系统的边界。
- 单张图像约“500 nano”的单位在转写中不完整,不能直接写成 500 纳焦;对应 GPU 的“milli”也缺少任务、硬件和测量口径。
- 3.2 quadrillion tokens、每 token 10 joules、约 12 gigawatts 和 50% 能源成本均需回查原始披露及计算假设。
- 人脑、松鼠脑和 GPU 的功耗对比具有启发性,但任务、精度、速度和系统边界并不一致,不能据此直接推出能效倍数。
- UNO 的图像展示没有附带主流生成模型基准、训练成本、图像质量或扩展曲线,当前只能证明可运行性。
- “三年半达到 1000 倍”和“两年交付完整产品”都是前瞻时间表,尚需以连续流片、机架测试和客户工作负载验证。
- “现有模型会工作”仍需说明支持哪些模型家族、转换后是否重训、精度损失多少,以及转换需要多少计算。
- 转写中的“map”“maple”很可能对应矩阵乘法相关术语,但原文识别不稳定,本文未据此还原具体缩写。
- 开场将嘉宾姓氏识别成“Ralph”,而节目标题及用户提供信息为 Naveen Rao,应以正式标题为准。
行动建议
- 要评估该公司,优先索取同任务、同输出质量下的端到端能耗数据,而不是只比较芯片内部或单张演示图像。
- 追踪未来两年的四个节点:下一次流片、语言模型演示、整机架原型、真实客户工作负载。
- 核查 1000 倍目标的基准对象,明确比较的是 GPU 芯片、完整服务器、训练、推理还是特定生成任务。
- 关注模型层迁移工具,尤其是支持的模型家族、转换计算量、精度变化和 Python 库的可用程度。
- 将团队协作视为与芯片同等重要的风险,持续观察理论研究者、模型开发者和芯片工程师能否形成稳定接口。
- 对能源影响同时建立单次推理能耗与总需求两个指标,避免把效率提升直接等同于社会总用电下降。
来源
- Podscripts / YouTube transcript
- 音频