0:00 / --:--
Latent Space · 6 月 1 日
Ethan He 认为视频模型的下一阶段进展将更多来自语言模型统筹生成、剪辑等工具形成完整工作流，而非单纯提升视频生成模型本身的能力。
Ethan He 以 NVIDIA Cosmos 和 xAI Grok Imagine 的研发经历为线索，解释视频模型的数据、压缩与训练取舍，并提出一个更进一步的判断：下一阶段的关键进展，可能来自更聪明的语言模型统筹生成、剪辑和其他工具，而不只是让视频生成模型单独变强。
这集还没有学习卡。生成后会保存在这一集，下次直接打开。
Latent Space· 2026-09-25Runway 的 WorldPrompt 与实时世界的工程构建Runway’s WorldPrompt and the Engineering of Real-Time Worlds同主题：视觉内容生成Latent Space· 2026-10-13Dyna-2：具备长达一小时自主能力的通用物理智能体——Jason Ma，Dyna RoboticsDyna-2: General Purpose Physical Agents with Hour-Long Autonomy — Jason Ma, Dyna Robotics同主题：模型训练与数据
a16z Show· 2026-09-13世界模型、机器人技术与 3D AI 的未来World Models, Robotics, and the Future of 3D AILatent Space
Why Video Agent models are next — Ethan He, xAI Grok Imagine
YouTube
音频
Ethan 说，他在 NVIDIA 参与的 Cosmos 是面向世界模拟的视频基础模型，目标之一是成为机器人研究者进一步开发的基础。他在完成 Cosmos 的相关工作后，认为视频模型也呈现类似语言模型的扩展规律，因此希望进入有更多算力资源的环境。他于 2025 年中加入 xAI；按其描述，当时视频及多模态模型方向尚无现成的基础设施、数据和模型，几位工程师在约 三个月内推出首个 Grok Imagine 0.9 模型。
这期谈话由“如何从零建立图像与视频模型”逐渐转向“生成模型应在多大程度上承担完整创作任务”。Ethan 区分了视频模型生成片段的能力，与AI 智能体（Agent）理解意图、调用工具、反复修改、完成可交付作品的能力。需要注意的是，转写在约 32:10 后出现大段缺失，直到后段的视频智能体讨论才恢复；因此，训练成本、蒸馏、音视频生成、世界模型定义、安全等议程项，在本笔记中不被当作已取得完整发言记录的话题。
这场访谈的主线，是视频研发的瓶颈如何从“造出能生成画面的模型”，逐步转向“让系统可靠地完成创作任务”。Ethan 从亲历的工程流程讲起：互联网视频与文本并不天然准确配对，需要详细描述来建立训练信号；原始像素又过于庞大，需要视觉压缩器把图像和视频映射进更便于模型学习的潜空间。图像模型先行，不只是为了降低训练成本，也为了让模型从更密集的图文对应中学习语言意图。到了视频阶段，时间维压缩能节省上下文，却可能牺牲逐帧响应所需的即时性。由此，模型设计不再只有“压得越多越好”的单一答案，而要服从产品究竟是离线生成，还是实时交互。
另一条线索是组织与系统效率。Ethan 将 xAI 早期推进速度归因于有共同目标的小团队、已有的基础设施，以及从取数据、训练到评估能够快速闭环；他尤其强调，修复数据和训练管线中的小错误，常比提出新算法更能改善质量。这也为后段判断作了铺垫：当基础视频生成可用，用户仍需要更长、更准、更易编辑的成品。Ethan 因而看好由语言模型规划、再调用生成模型及剪辑工具的视频智能体，认为它能通过迭代把请求转化为制作流程，而不必把每项能力都塞进单个视频模型。不过，“更多收益来自语言模型”“视频智能体达到制作级质量后会快速增长”，仍是嘉宾的判断与预测，并非转写已经验证的结果。这里仅将访谈内部的技术链条连起来；对缺失中段的具体实验、指标和结论不作补写。
💬 他们说了什么：Swyx 介绍 Ethan 是“最近在 xAI 工作”的嘉宾，并提起他此前在 NVIDIA 从事 Cosmos 工作，也曾参与 Latent Space 社群的论文交流。Ethan 说，Cosmos 是试图模拟世界的视频基础模型，意在供机器人研究者在其上继续开发。按他的回忆，Cosmos 的相关节点在 2024 年末；到 2025 年中，他转入 xAI。促使他转变环境的判断是：视频模型可能像语言模型一样受益于扩展，而进一步扩大规模需要更多算力。他称自己加入时，xAI 正准备建立视频及多模态模型，相关方向“没有基础设施、没有数据、没有模型”；少数工程师约 三个月后发布了 Grok Imagine 0.9。之后，他的工作从训练延伸到后训练，包括参考视频、视频续接，并在离开前带领小团队关注实时、长时域视频生成。
💡 为什么重要：这段经历把他的观点放在实际研发路径上：从研究世界模型，到建设面向用户的视频产品，再到探索实时交互。它也解释了访谈为何同时讨论训练基础、算力组织和智能体式产品，而非只比较生成画质。
⚡ 争议点：“视频模型存在类似语言模型的扩展规律”是 Ethan 的研发判断；可见转写没有提供曲线、实验设定或具体指标。关于 xAI 初期状态与三个月交付周期，这里仅按他的口述记录。
💬 面对“先拿什么现成组件、如何取得数据和算力”的问题，Ethan 首先提到自己此前花约 一年参与建立 Cosmos，因此第二次做类似工作时已大致知道顺序。他认为最重要的是人才：成员能力强、彼此靠近、朝共同目标工作，日程上可能每天只有一次同步会，余下时间用于建设。他接着强调 xAI 在数据、推理和模型相关方面已有很强基础，研发的核心量尺之一是每天能完成多少次迭代。他所说的迭代不是单指数百个训练步骤，而是取新数据、尝试算法或训练较小模型，再评估是否优于上一版的完整周期。Ethan 还说，许多显著质量提升并不来自新算法，而来自发现数据管线和训练管线里零散的小错误。谈及编码模型，他回忆 2025 年中的能力尚不足以可靠承担所有工作，到 2025 年 12 月已很有帮助，但快速生成的长段“意大利面式代码”也可能难维护；若实现想法从数周缩短到数小时，算力又可能重新成为迭代瓶颈。
💡 这里把“研究速度”拆成组织沟通、工程基础、实验闭环和发现错误的能力，而不是单纯拥有更多 GPU。编码辅助一旦加快实现，团队能提出和启动的实验也会变多，算力需求可能随之上升。
⚡ “小错误带来最大提升”是他的经验概括，没有附实验归因数据。编码模型会使算力再次成为瓶颈，也是一项条件性的趋势判断，并非所有团队都会经历相同变化。
💬 Ethan 明确表示不能具体评论 xAI 的做法，于是以 Cosmos 和一般流程举例。他说，建立视频模型通常先建立图像模型；网上视频的标题、简介或评论未必准确描述画面，因此需要为图像或视频制作详细的语言配对。起初若还没有足够好的视觉语言模型，可以让人工标注者尽可能写出物体、角色、互动与对话；他描述的 Cosmos 标注目标，是让看不到画面的人听完文字后也能在脑中重建视频。之后可用视觉语言模型为视频生成描述；他也提到，生成模型训练中通常会放入一小部分无文字标签的数据，让模型学习在没有文本指令时生成。视觉侧还需要压缩器或 tokenizer，把图像、视频映射到潜空间再映射回来：他用 1000×1000 图像约有一百万像素说明直接按像素训练 Transformer 的负担，并举出 16×16 图像块的例子。完成视觉潜表示与语言 token 的准备后，可训练扩散 Transformer，让模型从加噪的视觉 token 学会去噪；推理时则由噪声逐步得到输出。至于为什么图像先行，他的解释是图像训练较便宜、图文配对更密集，而同等数量的视频包含更多 token，若视频配对不够，模型对语言意图的学习可能不足。
💡 视频生成并非“把视频文件扔给大模型”这么简单：文字监督是否对应画面、视觉表示是否易学，都会影响后续训练。先学图文联系，再把图像模型作为视频模型起点，是 Ethan 给出的成本与语言理解之间的折中方案。
⚡ 他使用“百分之百合成配对”强调建立语言—视觉配对的需求，同时又提到可混入少量无标签数据；两种说法分别指向主要配对数据与训练数据的其他组成，不宜机械地理解成所有样本都有文字。所举流程也不能直接视作 xAI 的具体内部配方。
💬 Swyx 问，既然相邻视频帧变化有限，能否直接借用 MP4 一类的视频压缩表示。Ethan 说有人尝试过以这类压缩 token 训练 Transformer，但其潜空间对模型来说不够容易理解，训练很困难；VAE 则尝试提供更连续、更易学习的潜表示。在 VAE 方案内部，还可选择只做逐帧空间压缩，或同时压缩时间维。他给出 8×8×4 对比 8×8×1 的例子：前者把时间上的 4 个单位压成 1 个，可显著缩短上下文；逐帧方案在该示例中的上下文长度则会是 4 倍。但逐帧输出有另一项优势：用户提出新请求时，模型有机会按帧立即响应；如果生成依赖成组的时间压缩，就会有内在等待。他因此把表示选择直接连接到实时性与互动性。
💡 相同的“更高压缩率”，在离线视频生成和可操作的实时世界里价值不同。模型若要随用户动作立刻更新画面，节省 token 的设计可能反而增加响应延迟。
⚡ 这里的压缩比例是 Ethan 用来解释取舍的示例，不能据此断言所有 VAE 都采用该配置。可见转写没有提供两类方案的统一延迟、画质或训练成本对比。
💬 Ethan 将 Flipbook 描述为看似浏览器、但界面由生成模型实时制作的体验：用户点选关于金字塔工程等内容后，模型可生成下一页及更细的解释；那些页面并非预先存在。他由此设想，未来界面可能从“用户意图→代码→屏幕像素”，转为更直接的“用户意图→像素”；例如，同是邮件应用，不同人可以要求完全不同的呈现方式。他想象后台运行更强的语言模型或编码模型，前端则由扩散模型呈现内容；Swyx 概括为“扩散前端、确定性后端”，Vibhu 随即质疑把语言模型写代码的过程称作“确定性”是否准确。成本讨论中，Ethan 用假设的 H100 每小时 1 美元、每天使用 8 小时、每月 30 天算出每月 240 美元，认为当前并不便宜；他同时预测成本下降可能让类似体验在未来几年更可行。谈到 Neural OS，几人观察它能模拟操作系统和游戏体验；Ethan 认为，尽管现有演示像既有系统的不完美复制，受大量屏幕录制训练的模型将来也可能组合出新界面。
💡 这段把视频生成从“产出一段影片”扩展到“随交互持续生成用户所见内容”。它也指出，生成界面的竞争指标不能只有画质，还会涉及响应速度、费用及用户能否控制结果。
⚡ Swyx 明确提出屏幕阅读器等无障碍问题；可见讨论未给出解决方案。“推理成本每年下降两倍”和“未来几年到来”是嘉宾的估计；Swyx 提到的语言模型成本改善数字属于另一种口径，不能与硬件成本直接相加或互证。
💬 本节议程锚点为 01:13:10，但所给转写在此后仍有省略；能够细读的视频智能体发言从约 01:22 才恢复。Ethan 在可见部分说，创作模型可以把扩散生成当作工具，也调用 Photoshop 式图像编辑工具、视频编辑器或 FFmpeg，反复修改，争取达到制作级质量。他指出专业创作者往往不会在生成一段视频后就结束，还会交给编辑器做后期；Swyx 也说，作品之所以好，有时关键在剪辑而非视频模型本身。Ethan 把 Grok Imagine Agent beta 称作朝这一方向的早期尝试，并举“制作一分钟视频”的请求说明：单次向视频模型提出该请求可能做不到，智能体则可以调用不同工具执行。用户曾要求视频编辑功能“把这段视频编辑成一分钟”，而 Ethan 认为，从传统编辑的增删替换来看，这与“制作更长内容”不是一回事；但对能规划长时任务的视频智能体来说，它是合理需求。他将其类比为编码产品从补全辅助，逐步走向更自动化的智能体；现场演示中，Vibhu 说某次请求得到的是 36 秒，没有达到所要的 一分钟。
💡 这一划分把评价单位从“生成模型的一次输出”换成“能否交付符合意图的作品”。智能体可以在生成之外调用确定性工具，处理特定时间点放文字等更要求精确控制的任务。
⚡ 一次现场演示没有满足时长请求，恰好提示目前的智能体能力与愿景仍有距离。转写缺失的 01:13—约 01:22 内容不应由后文反推为已得到完整技术说明。
💬 Ethan 认为，视频模型能力的提升中，有些会来自语言模型变得更聪明，而不只是视觉生成技术改进。他举出提示词设计：多数用户未必擅长提示生成模型，语言模型却可能更懂如何针对不同模型组织指令。他进一步说，智能体不应被简化为“生成几个片段再用 FFmpeg 拼接”，中间还可能出现更多图像、视频编辑工具；若要在准确时间点放入一段文字，确定性工具可能比让视频模型直接猜测更合适。他的核心主张是，不必把所有能力都训练进一个生成模型，而可由智能体选择和组合工具。对于时间判断，Ethan 预测到访谈所说的“今年年底”，视频智能体可能成为热门方向；他认为真正的拐点，是产出达到可展示、可投放广告的制作级质量。智能体会因生成多个变体并反复迭代而比单独的视频模型更贵，但他预计，一旦跨过可用门槛，企业预算会增加。
💡 这解释了标题中的“下一步”：提升不一定体现在单次生成片段的基准表现，也可能体现在规划、提示、精确编辑和验收能力。商业判断同样依赖最终成品是否可用，而不是仅靠低成本演示。
⚡ “语言模型贡献了更主要的增益”在对话中也受到“仍需要两者”的提醒；可见转写没有两种投入的量化对照。“年底会成为热门”和门槛过后快速增长，均属预测，不是已经发生的事实。
💬 Ethan 解释离开 xAI 的原因时说，有些想做的研究不易在公司内开展，而公司的优先级与目标也可能迅速变化；他尤其想多研究语言模型。他认为视频模型起初可能主要受扩散技术推动，但到目前阶段，不少改进机会来自语言模型与智能体。他随后提出一个方向：让语言模型了解并管理自己的上下文，而不只是由外部智能体框架按规则处理。例如，系统在上下文使用到约 80% 时自动触发压缩，模型本身却未必知道这一点；若它知道窗口余量，就可能主动决定怎样保存或舍弃信息。他还举出把当前本地时间附在用户消息中、自动修剪中间工具结果等做法，说明时间信息、内容加入、移除与压缩目前常由外部框架负责。更进一步，他设想模型能够看到智能体框架的代码，并在处理长文档时自行决定分块读完、汇总，还是只读前 200 行；他把这指向测试时在线调整自身工作流程的可能性。
💡 视频长时生成与语言模型长任务，在他的叙述中遇到同一类问题：有限上下文如何支持持续行动。若上下文管理从外部固定规则转向模型可理解、可选择的过程，智能体执行长任务的方式也会改变。
⚡ “模型修改智能体框架”是设想，不等于可见转写展示了可靠实现。“无限上下文”被 Vibhu 提问时，Ethan 只回答“也许”，不能写成他的确定预测。
💬 Ethan 回顾，约 十年前他与 ResNet 作者 Xiangyu Zhang、Jian Sun 从事图像识别、目标检测、目标跟踪及神经网络压缩等研究。他原想成为教授，申请博士项目时已有几篇顶会第一作者论文，但他说自己被申请的顶尖项目全部拒绝，随后进入由 Yann LeCun 领导的 Facebook AI Research。他后来转向自监督学习，再到 NVIDIA 的 Cosmos 与大规模模型工作；按其说法，Cosmos 将视频扩散模型扩展到数十亿参数。他也提到自己做过 Megatron MoE，并称其框架能够高效训练千亿乃至万亿参数量级的 MoE，提及 40% MFU。之后去 xAI，是希望在更大算力规模上继续工作；如今转向语言模型，则与他认为视频的当前瓶颈更多落在语言和智能体有关。他总结，在机器学习内部跨领域或许没有想象中困难，因为训练大模型的许多核心原则相通；结尾他没有宣布下一站，只说以后会分享新阶段的计划。
💡 他的职业变化并不是简单地“放弃视频”，而是随其判断的主要瓶颈，从视觉识别走向模型扩展、视频生成，再走向语言与智能体。对研究者而言，这提供了一种按问题迁移技能、而非按既有学科标签固定职业方向的经验。
⚡ 关于 Megatron MoE 的领先性、适用规模与 40% MFU，此处只记录 Ethan 的口述，不能替代论文或运行记录核验。他的下一步工作尚未在可见转写中公布。
“A lot of the improvements does not come from new algorithms. It comes from finding small bugs here and there in the data pipeline, in the model training pipeline.” “很多改进并非来自新算法，而来自找到数据管线、模型训练管线里这里那里的一些小错误。” ——Ethan，谈研发质量改进。
“The generative UI will be user intention to the pixels directly.” “生成式界面将把用户意图直接变成像素。” ——Ethan，谈界面形态的设想。
“Diffusion front-end, deterministic back-end.” “扩散式前端，确定性后端。” ——Swyx 对设想的概括；Vibhu 随即质疑其中“确定性”的用法。
“You don’t have to put all of the capabilities into the generation model itself.” “不必把所有能力都放进生成模型本身。” ——Ethan，谈视频智能体调用不同工具。
“A lot of the core principles how to train large models are largely the same.” “训练大模型的许多核心原则，大体上是相通的。” ——Ethan，谈跨机器学习领域工作。
reused_en_transcript：用户提供的英文转写，含明确标示的中段省略。
