这集讲什么
Runway 嘉宾 Anastasis 主张把视频生成模型继续扩展为能预测物理与动作的世界模型，而实时反馈将决定它能否成为真正可用的创作工具。
1-3要点
- Runway 早期的竞争力来自模型加工具：让艺术家能使用模型，也让后期工作少做手工抠像。
- Gen 1 借现有视频提供结构；Gen 2 的两阶段文本生成办法则换来了更快交付，同时留下结构瑕疵。
- 相机、物体运动和参考输入的控制能力，比单纯放开文本提示更贴近影视工作流。
Runway’s WorldPrompt and the Engineering of Real-Time Worlds
播出信息
- 日期：2026-09-24
- 嘉宾：Anastasis，Runway 联合创始人
- 场合：Latent Space 播客录音室访谈
- 时长：约 01:36:14
- 阅读说明：所给转写在约 00:35 至 01:15 之间省略了大段内容；以下不把该时段的时间锚点当作可核实的谈话内容。开场将公司误识为“Romwe”，嘉宾随后谈论的公司为 Runway。
背景
Runway 最初想解决一个工具问题：早期生成模型难以让非机器学习工程师使用，艺术家却可能用它们做出训练者没有预想的作品。Anastasis 同时有互动艺术和机器学习工程经历。他谈到一件约在 2015 年制作的画廊作品：软件给观众分配身份、发出语音指令，再组织人与人之间的对话。那时语言模型尚不足以承担任务，作品使用模板和生成文本。
这种“生成加交互”的兴趣延续到了 Runway。早期团队把道路数据训练出的图像模型交给创作者，看到他们用行人、路牌等有限类别拼出超现实场景；后来又做出面向影视后期的 Green Screen。访谈的主线，是这家公司如何从帮助人操纵画面，走向让模型预测画面背后的运动和世界。
总结分析
Anastasis 对 Runway 历程的讲法，不是“文本一输入，电影就完成”的能力升级史，而是一连串围绕控制的工程选择。道路场景模型原本只认识有限物体，艺术家却把这种限制变成创作材料；Green Screen 解决的是繁琐的抠像；Gen 1 先借已有视频的深度结构生成新画面，因为这比从零生成整段视频容易。Gen 2 虽然带来了文本生成视频，却很快暴露出创作者无法指定镜头、运动和参照物的问题。相机控制由此不只是产品功能，也让团队开始把生成结果视为一个可进入、可导航的场景。
更大的研究押注是：持续预测视频，能否逐步学到物理和人的动作？嘉宾认为，应先改进数据、计算规模与现有视频预测方法，再决定是否必须另起架构。他称不同规模模型在 Physics IQ 上有可预测的改善，同时承认漂亮样片容易掩盖失败。看起来像真的视频，不等于已经拥有可靠的世界模拟器；这也是全场最需要把研究方向与已证实能力分开的地方。
临近结尾，产品尺度又从画质转向反馈速度。嘉宾认为，参考图、故事板和镜头控制让创作者更愿意把模型当工具，但等待生成结果仍会打断探索；实时模型若能缩短这个循环，影响的是工作方式，而不只是排行榜分数。机器人和科学模拟则是更远的延伸：它们需要动作、传感器和跨模态迁移的证据，不能由视频观感直接推定。由于提供的转写缺失中间约四十分钟，下文只按可见谈话重建这些论证，不补写省略段的结论。
节目结构 / 议程
- 从互动艺术到生成工具 — 00:00 🎧 · ▶️
- 道路数据怎样变成艺术材料 — 00:07 🎧 · ▶️
- Gen 1：先让已有视频提供结构 — 00:09 🎧 · ▶️
- Gen 2 的捷径与控制难题 — 00:19 🎧 · ▶️
- 相机控制通向“可导航的世界” — 00:23 🎧 · ▶️
- 为什么从观察世界而不只从文字学习 — 00:28 🎧 · ▶️
- Physics IQ 与规模押注 — 00:32 🎧 · ▶️
- 创作团队参与训练与评估 — 01:15 🎧 · ▶️
- 开放研究、竞争与评测 — 01:20 🎧 · ▶️
- 创作者需要的是画质之后的控制 — 01:23 🎧 · ▶️
- 下一项产品指标是延迟 — 01:27 🎧 · ▶️
- 机器人争论与跨模态迁移 — 01:30 🎧 · ▶️
分节详解
1）从互动艺术到生成工具 — 00:00 🎧 · ▶️
💬 他们说了什么：Anastasis 说，Runway 早期判断生成内容会随着分辨率和质量提高而普及，因此创作工具需要重做。他此前一边制作互动艺术，一边担任机器学习及后端工程师。约在 2015 年，他制作的软件曾在画廊为观众生成身份并协调对话；由于当时语言模型能力有限，它依靠模板及生成文本。
💡 为什么重要：Runway 的出发点不是单独追求一张好看的图，而是思考模型怎样介入人的创作与互动。
⚡ 争议点：“多数内容终将被生成”是嘉宾回顾的创业判断，不是访谈已证明的市场结果。
2）道路数据怎样变成艺术材料 — 00:07 🎧 · ▶️
💬 Anastasis 回忆，他与联合创始人 Chris 曾使用英伟达早期图像到图像模型：输入道路场景的语义图，输出当时约达 1K 分辨率的画面。训练类别主要来自自动驾驶数据，用户却用大量行人、交通标志和巨人制作超现实图像。Runway 随后建立内部研究团队；早期重要产品 Green Screen 用于图像、视频分割及抠像，并被用于《瞬息全宇宙》等作品。
💡 这里同时出现了 Runway 的两种产品逻辑：把研究模型交给艺术家重新解释，以及先替专业流程消除费时的手工步骤。
⚡ 艺术家能把模型用于训练分布之外的创作，不代表模型在分布之外具有可靠的物理预测能力。
3）Gen 1：先让已有视频提供结构 — 00:09 🎧 · ▶️
💬 嘉宾说，团队在 2022 年决定扩大视频模型训练规模，并签订建设集群的协议；转写把规模记作“1,800s”，未能辨明设备型号。Gen 1 于 2023 年 1 月推出，选择视频到视频而非直接文本到视频：先把输入片段转为深度图，再由潜在扩散模型生成像素。他举例说，用户拍摄书本或盒子搭出的场景，也会把 Blender、Unity 的粗略场景转成另一种视觉风格。
💡 输入视频保留了运动和场景结构，使模型先解决相对明确的重绘任务；这也解释了早期工具为何能进入故事板和特效流程。
⚡ 集群数量及原始设备名称须查原音或资料，不能凭“1,800s”推定具体硬件。
4）Gen 2 的捷径与控制难题 — 00:19 🎧 · ▶️
💬 Anastasis 说，Gen 2 在 Gen 1 公布约两个月后便获宣布，最初思路是先由文本生成深度图，再用 Gen 1 将深度图变成 RGB 视频。这个两阶段办法让文本到视频更快交到用户手中，却有时令结构显得不自然。团队还发现纯文本不足以指定镜头和物体运动，于是在 2023 年陆续探索 Motion Brush、相机控制及输入帧等条件。
💡 能生成视频只是起点；创作者还必须能把意图稳定地落实为镜头、运动和参考关系。
⚡ 嘉宾称 Gen 2 是较早面市的文本到视频模型之一，但访谈没有给出足以比较所有同期产品的完整证据。
5）相机控制通向“可导航的世界” — 00:23 🎧 · ▶️
💬 嘉宾说，使用相机控制时，体验开始从制作短片转向在场景内部移动。Runway 因而在 2023 年末设立专门研究世界模型的团队，尝试把视频生成能力用于内容制作以外的问题。他把这一方向称为应用范围的扩展，而不简单称作转型。
💡 同一个预测下一帧的模型，可以被问两个不同的问题：它能否产出可用镜头，以及它能否保持一个可交互场景的连续性。
⚡ 镜头移动时画面连续，并不能单独证明场景内部存在稳定的三维结构或物理规则。
6）为什么从观察世界而不只从文字学习 — 00:28 🎧 · ▶️
💬 Anastasis 认为，大量日常动作很容易演示，却难以用文字完整描述；系鞋带是他的例子。他主张直接利用观察数据学习物理和行动细节，而不只学习人们对世界写下的说明。面对是否需要 JEPA 等不同架构的问题，他表示实验若显示别的方法更好，团队愿意改用，但目前未见视频预测停止受益于扩展的迹象。
💡 这给“世界模型”划出了明确研究对象：语言未充分记录的动作、接触和动态过程。
⚡ 观察数据丰富，不等于仅靠预测可见像素就能识别隐藏状态或学到因果机制。
7）Physics IQ 与规模押注 — 00:32 🎧 · ▶️
💬 嘉宾说，团队用 Physics IQ 一类测试观察模型对力学、流体和光学现象的预测：给出首帧，再看后续片段如何演变，例如悬挂球体接下来怎样运动。他称不同计算规模下的分数会可预测地提高，扩展本身有所帮助。同时他警告，精选样片和巧妙镜头可能遮住模型缺陷，不能据此高估现状。
💡 讨论从“像不像真实视频”推进到“对指定物理事件的后续预测是否正确”，评价对象更接近研究主张。
⚡ 访谈没有提供分数、实验设置或失败率；测试改善也不能直接外推为通用、长时程的物理模拟。
8）创作团队参与训练与评估 — 01:15 🎧 · ▶️
💬 在转写恢复后的讨论中，Anastasis 说 Runway 的创作团队参与模型训练，包括细致标注电影摄影、美学和镜头方向。他们也评估生成视频是否真正可用。嘉宾认为，研究人员与创作者并肩工作，是公司的重要工作方式。
💡 输出的“可用”程度不仅取决于像素质量，还取决于训练描述能否保留创作者关心的控制维度。
⚡ 所给转写省略了此节之前的大段谈话，不能据此补全他们对其他训练方法的比较。
9）开放研究、竞争与评测 — 01:20 🎧 · ▶️
💬 嘉宾说，Runway 与英伟达共同发起 Cosmos Coalition，希望开放研究成果；形式可能包括模型权重、物理测试或基础设施。他认为，当时视频模型榜单前列有大量中国模型，美国及西方入榜公司较少。谈及评价，他反驳“创作者主要看 Arena 分数”的说法：用户往往用相同提示词试几个模型，直接观看画面与瑕疵。
💡 开放资源可以降低新人进入世界模型研究的门槛；产品选择则未必与单一榜单名次一致。
⚡ 榜单构成是嘉宾对当时情况的描述，转写未给出榜单名称及统计日期；开放研究的具体发布物也仍是可能形式。
10）创作者需要的是画质之后的控制 — 01:23 🎧 · ▶️
💬 Anastasis 认为，“一句文本得到完整视频”的印象曾加剧创作者对 AI 的抵触。如今模型可接收多种参照，一些较新模型最多可用 50 个参考输入；他认为这让使用过程更像操作故事板，而不是把整部作品交给机器。访谈也提到电影节及知名导演公开使用或支持相关工具。
💡 工具提供的选择和修改空间，会影响创作者是否感到自己仍在主导作品。
⚡ 部分知名人士态度改变，不等于创作行业已形成共识；“50 个参考输入”也不保证每个输入都会被准确遵循。
11）下一项产品指标是延迟 — 01:27 🎧 · ▶️
💬 嘉宾把需求变化概括为先看质量，再重视可控性，接着越来越在意延迟。他设想一次提示便近乎即时取得 10 个候选结果，以便快速探索；相比之下，等待约 两分钟取回视频会打断创作。他认为实时模型有机会恢复传统创作软件那种即时反馈。
💡 更短的反馈循环可能改变人怎样试镜头、比较方案和决定下一步，而不只是节约一次生成的时间。
⚡ 近乎即时得到多个可用结果是嘉宾描述的方向；访谈未给出相应质量、成本和延迟测试。
12）机器人争论与跨模态迁移 — 01:30 🎧 · ▶️
💬 结尾讨论了机器人中的视觉语言动作模型与世界动作模型、遥操作数据与大规模视频数据，以及直接预测像素、JEPA 和三维方法之间的分歧。Anastasis 还提醒，电机、电压、功率和散热等硬件问题并未解决。他主张逐步纳入音频等模态，并举例称团队把视频模型在 The Well 的物理及生物数值模拟数据上微调、把模拟视作 RGB 帧时，比从头训练更快得到合理表现。
💡 视频预训练若能迁移到稀缺数据领域，世界模型的用途才可能越过影像生产；机器人实践又要求模型与真实硬件共同接受检验。
⚡ “更快得到合理表现”没有伴随量化结果；跨模态迁移的早期例子不能证明统一模型已适合所有科学或机器人任务。
人物与机构
- Anastasis：Runway 联合创始人；本集受访者，谈及早期艺术项目、模型研发与世界模型方向。
- Chris：嘉宾提及的 Runway 联合创始人，参与早期图像模型项目。
- Runway：从创作工具、Green Screen 延伸至视频生成及世界模型研究的公司。
- Patrick Esser、Robin Rombach：嘉宾在回顾潜在扩散模型及 Stable Diffusion 研究时提到的研究人员。
- 英伟达与 Cosmos Coalition：嘉宾称 Runway 与英伟达共同发起该开放研究倡议。
金句
“Humans are terrible prompting.” 「人类并不擅长写提示词。」
“It's easy to cherry pick examples and think that video models are further advanced than they actually are.” 「很容易挑出漂亮案例，误以为视频模型比实际走得更远。」
“We just have seen no indication that video prediction itself doesn't scale.” 「我们目前还没看到视频预测本身无法继续扩展的迹象。」
“The humans are terrible prompting.” 「人不擅长提示，工具就不能只把成败押在一句输入上。」
“Photoshop was instant.” 「Photoshop 的反馈曾是即时的。」
洞见与延伸背景
访谈里反复出现一个容易被“生成质量”掩盖的区别：条件越明确，任务越容易，也越可能符合创作者意图。Gen 1 用输入视频的深度结构约束输出；Gen 2 初期用文本先规划深度；其后相机控制、运动笔刷、参考输入继续增加约束。它们未必是通向“完全自动创作”的过渡零件，反而可能是专业工具的核心。
世界模型研究则要求反向审视这些成功：视频可以通过剪辑感、遮挡或短时连续性显得可信，但机器人需要在动作之后继续面对真实世界。嘉宾一面押注视频预测，一面承认样片会遮掩不足、硬件也有独立难题。这使“预测得好”成为需要在物理测试、长期交互和实际任务中逐层验证的主张。
争议与需核实
- 转写缺口：约 00:35 至 01:15 的讨论未随用户提供的转写完整呈现；不能据提示表中的零散句子还原该段论证。
- 集群规模：“1,800s”的设备型号和准确表述不清，需核对原音。
- 研究争议：Physics IQ 随规模改善、The Well 微调较快取得合理表现，均缺少本段转写中的量化结果及实验条件。
- 历史叙述：Stable Diffusion 的合作、资助、发布沟通与商业化经过，在访谈中主要由嘉宾回顾，不宜视为各方一致认可的完整记录。
- 产品边界：最多 50 个参考输入、近即时生成 10 个候选视频，分别是嘉宾描述的模型能力与未来体验设想，不应混为已验证的同一产品指标。
- 竞争判断：有关视频模型榜单的地域分布，需要明确榜单及查询日期后再引用。
行动建议
- 评估视频模型时固定同一提示词与参考素材，同时比较画质、可控性和修改成本。
- 对“懂物理”的展示要求连续预测及失败案例，不只观看精选短片。
- 设计创作流程时先确定镜头、运动和参考输入由谁控制，再决定哪里使用文本生成。
- 测试实时工具时记录从提出想法到得到可用结果的时间，而非只记录首次出片时间。
- 将机器人或科学模拟迁移主张与普通视频生成主张分开验证。
