这集讲什么
Black Forest Labs 从图像生成走向「视觉智能」:以图像、视频和动作的联合建模为基础,尝试让模型不仅能描绘世界,还能在世界中采取行动。
1-3要点
- BFL 所称的视觉智能,核心是把自然信号中的直觉规律用于生成、编辑与动作,而不局限于图像质量。
- 从 SDXL 的双模型管线到多参考图编辑,模型设计一直在权衡通用性、细节、速度与系统复杂度。
- 视频训练可能为动作预测提供先验,但「观察世界」与「可靠地干预世界」之间仍有待验证的距离。
播出信息
- 日期:2026-11-16
- 时长:5903 秒(约 1 小时 38 分)
- 嘉宾:Andreas Blattmann、Dustin Podell,Black Forest Labs
- 音频:收听节目
- YouTube:观看视频
- Episode:节目页面
- 英文转写来源:youtube-captions;以下时间戳以节目提供的官方章节为准。
背景
Andreas Blattmann(节目中称 Andy)参与发明潜在扩散技术,其研究后来成为 Stable Diffusion 的重要基础。Dustin Podell 则从软件开发和开源社区进入模型研究,参与 SDXL 等项目;两人如今都在 Black Forest Labs(BFL)。
理解本集需要区分三个层次:生成一张可信的图、生成随时间保持一致的视频,以及根据观察预测并执行动作。嘉宾认为,前两者积累的视觉表征可以迁移到第三者;主持人持续追问的是:看过大量视频,是否就足以理解可供机器人操作的真实世界?
总结分析
这期访谈的主线不是 BFL「从图片转型做机器人」,而是嘉宾试图把图像编辑、视频生成和机器人控制解释为同一项视觉建模工作的不同出口。回看技术史,SDXL 曾用不同模型分担整体结构与细节纹理;视频建模又迫使团队处理帧间一致性;FLUX Kontext 则把生成能力推进到「按指令修改现有内容」。这些经验共同指向一个更难的目标:模型要在自然信号中学到物体、运动和操作的规律,而不只是产出好看的画面。
新信息集中在动作模型的构造与应用边界。嘉宾描述了一条路线:先用广泛的图像、视频、音频数据预训练,再加入机器人状态与动作预测,使模型依据既有画面和任务指令输出下一段动作。他们举出工业任务中约四小时数据、相较某对照方案少八倍数据的案例,并把「看一次示范就学会」列为目标。但案例、目标和已验证的通用能力必须分开:访谈也承认真实机器人评测昂贵、仿真与现实仍有差距,模型当前按短片段循环预测,并非已经解决所有长期规划问题。
另一条贯穿全场的争论是架构选择。嘉宾不接受「可对话编辑必然意味着自回归取代扩散」的推断,认为交互形式还取决于训练数据与模态组合。其更稳妥的结论是:扩散、流匹配和自回归各有训练及推理上的取舍,胜负未定。BFL 对 2027 年工业机器人应用的乐观预测,因而更适合作为可跟踪的研发判断,而不是确定的行业时间表。
节目结构 / 议程
- 从潜在扩散到 BFL — 04:23 🎧 · ▶️
- 开源社区如何培养研究者 — 09:23 🎧 · ▶️
- 「视觉智能」比图像生成多了什么 — 17:04 🎧 · ▶️
- SDXL:结构与纹理由谁负责 — 27:38 🎧 · ▶️
- 视频为何不只是连续图片 — 33:59 🎧 · ▶️
- 流匹配与技术路线 — 39:57 🎧 · ▶️
- 创立 BFL 与产品定位 — 46:57 🎧 · ▶️
- FLUX Kontext:编辑比重画更难 — 54:58 🎧 · ▶️
- 数据质量与编辑评测 — 1:03:15 🎧 · ▶️
- 自回归会取代扩散吗 — 1:13:12 🎧 · ▶️
- 从视频预测到机器人动作 — 1:20:50 🎧 · ▶️
- 2027 年预测、真实评测与用户价值 — 1:30:08 🎧 · ▶️
分节详解
1) 从潜在扩散到 BFL — 04:23 🎧 · ▶️
💬 他们说了什么:Andreas 回顾与 Robin 等人在德国开展扩散研究、开发潜在扩散方法,再将研究扩展为 Stable Diffusion 的过程。BFL 的名字来自德国黑森林地区;团队选择在与创始人有个人联系的弗赖堡起步。
💡 为什么重要:潜在扩散的关键思路是在压缩后的表示空间内生成,再解码为图像。这段历史解释了 BFL 为什么既重视生成算法,也重视模型能否被更广泛的人使用。
⚡ 争议点:从研究成果到产品成功涉及多个团队、社区和阶段;不能把 Stable Diffusion 的发展归功于单一人物或机构。
2) 开源社区如何培养研究者 — 09:23 🎧 · ▶️
💬 Dustin 原先做了约十年软件开发;2022 年 Stable Diffusion 发布后,他辞职投入这一领域。他先在社区拆解模型、读论文、尝试实现,进入 Stability AI 时的职位是工程师,后来才逐步转向研究。
💡 可在本地运行、可修改的模型,为非传统机器学习背景的人提供了实践入口。嘉宾认为,学术研究者与开源社区成员的不同经验,也是创始团队的一项优势。
⚡ 这是一条个人路径,并不意味着仅靠热情和开源项目就一定能转型;算力、同事指导和进入研究团队的机会同样重要。
3) 「视觉智能」比图像生成多了什么 — 17:04 🎧 · ▶️
💬 Andreas 用接球、拿瓶子说明目标:让模型掌握难以用语言公式逐项表述、却能指导感知和动作的直觉。他称 BFL 在图像之外扩展到视频、音频和动作,并强调这不是放弃图像业务。据其在节目中的说法,BFL 累计融资约 4.5 亿美元;当时公开过的营收里程碑为 1 亿美元,但访谈未明确该数字的统计口径。
💡 如果同一基础模型学到跨模态的视觉规律,编辑、视频和机器人应用或可共享能力,而不是每项任务从零训练。
⚡ 从二维影像获得隐含三维理解,不等于已经掌握物理因果或安全操作。主持人追问:仅靠观察,模型是否会始终欠缺真实交互经验?
4) SDXL:结构与纹理由谁负责 — 27:38 🎧 · ▶️
💬 Dustin 说,SDXL 不只追求更漂亮的图,还引入大规模多宽高比训练和分阶段训练。其 refiner 是另一完整扩散模型,擅长补足皮肤、草地等高频纹理;它并不改变分辨率,因此不能简单称为放大器。该模型原本来自一版未发布、整体结构表现不佳的 SDXL 候选方案。
💡 团队把生成过程拆成偏重整体结构与偏重细节纹理的工作,展示了「系统组合」有时比强求单一模型面面俱到更有效。
⚡ Dustin 坦言当年仍希望一个模型解决全部问题。双模型管线改善效果,也增加了系统复杂度;是否划算取决于质量、速度和部署需求。
5) 视频为何不只是连续图片 — 33:59 🎧 · ▶️
💬 Andreas 说自己在 Stable Diffusion 之前已研究视频生成。讨论从图像扩展到运动时,核心难题变成时间一致性:物体、纹理与动作必须在相邻画面之间保持合理关系。节目后段也以视频放大为例指出,逐帧做图像放大容易造成闪烁。
💡 视频迫使模型处理「接下来会怎样」,因而成为团队连接内容生成与动作预测的重要训练媒介。
⚡ 画面连贯仍可能只是逼真的预测,不自动证明模型理解了真实环境中干预一个物体会产生什么后果。
6) 流匹配与技术路线 — 39:57 🎧 · ▶️
💬 嘉宾将扩散与流匹配视作把噪声逐步转换为自然信号的相关建模路线,并把它们放进从图像走向视频及动作预测的技术脉络中。
💡 本集讨论的「视觉智能」不是单独增加一个机器人模块,而是试图复用团队已掌握的生成方法,再改变训练信号和输出对象。
⚡ 方法在生成任务上有效,不足以单独推出它在长期规划、接触控制和跨机器人硬件迁移上同样有效;这些仍需要具体实验。
7) 创立 BFL 与产品定位 — 46:57 🎧 · ▶️
💬 谈到从 Stability AI 出来创办 BFL,嘉宾把重点放在团队延续、研究方向与模型价值的实现上。节目结构在 50:36 插入 Deepgram 赞助时段,随后转向 FLUX 的应用。
💡 这帮助理解 BFL 为何同时经营图像产品,并为更广的多模态能力投入研究;机器人方向在嘉宾叙事中是延伸,而非对既有业务的否定。
⚡ 创始团队对前公司的复盘是当事人视角。有关组织决策、商业得失或因果归因,仍应与其他来源交叉核对。
8) FLUX Kontext:编辑比重画更难 — 54:58 🎧 · ▶️
💬 Kontext 的任务是根据原图与文字指令修改指定内容,同时保留不该改变的部分。Dustin 说,早期版本只接受一张输入图;到 FLUX 2,团队围绕多参考图构建数据并训练,讨论中提及可处理约 10 张参考图。
💡 编辑可按「有没有完成指定修改、有没有误伤其他区域」来检验,较单纯比较哪张生成图更好看更贴近真实工作流。多参考图则有助于维持人物、物件和风格的一致性。
⚡ 参考图越多不必然越好。嘉宾指出,过多素材也会增加人的选择、审阅和评测负担;能力上限与实际创作收益不是同一个数字。
9) 数据质量与编辑评测 — 1:03:15 🎧 · ▶️
💬 讨论落在数据数量与质量的权衡。随后 Dustin 介绍公开的 KontextBench:团队编写编辑任务,既覆盖工作用途,也纳入用户实际会尝试的有趣请求;评测模型时再比较其输出,而非把任务列表当作每题都有唯一正确图像的答案集。
💡 编辑模型的训练与评测都依赖对「改哪里、保留哪里」的清晰界定。嘉宾主张结合不同评测,并由研发人员持续亲自试用、查看失败样例。
⚡ 用户偏好反馈并非始终高信号。当强模型都能完成简单编辑时,投票差异可能主要来自审美;公开基准和内部试用也各有盲点。
10) 自回归会取代扩散吗 — 1:13:12 🎧 · ▶️
💬 主持人把对话式图像编辑与自回归模型联系起来;嘉宾回应,能否对话编辑也取决于训练数据及语言能力,不是某一种生成算法独有的功能。Andreas 认为自回归训练有数据效率优势,但生成时需依次输出 token;扩散模型则有机会把多步采样蒸馏成更少步骤。他们还区分离散的掩码式语言扩散与连续空间中的扩散研究。
💡 界面体验、训练目标和底层生成方式是三个不同问题。看见一个可对话编辑的产品,不能仅凭使用感受判断其内部架构。
⚡ 嘉宾明确表示路线之争尚无定论;谈到其他公司的具体模型时,Dustin 也说明自己没有内部信息,其架构判断不能当作已核实事实。
11) 从视频预测到机器人动作 — 1:20:50 🎧 · ▶️
💬 嘉宾描述先以图像、视频、音频预训练,再加入机器人关节状态和动作数据的做法。模型依据先前画面及指令预测下一段视频与动作;谈及当前运行,嘉宾估计约 10 FPS,每次预测约 9–21 帧,同时说明具体帧数需要再查。用于部署的模型约 7B 参数。他们举出一个工业任务案例:约 4 小时数据达到可用成功率,所需数据比节目所述对照方案少约 8 倍。
💡 这条路线把广泛的视觉预训练视为机器人学习的先验,再用较少的任务数据适配具体动作。嘉宾的远期目标不是不断微调,而是让机器人观察一次示范便能执行。
⚡ 「一次示范即学会」仍是愿景,不是上述四小时案例已经证明的能力。短片段循环预测的表现,也不能直接等同于复杂任务中的长期规划与稳定成功率。
12) 2027 年预测、真实评测与用户价值 — 1:30:08 🎧 · ▶️
💬 嘉宾看好 2027 年制造业中出现更多真实机器人应用,认为工厂任务比家庭环境更受约束;对家用机器人的判断则更谨慎。谈及谁在使用 FLUX,Dustin 举出 Kontext 修复、上色老旧家庭照片的意外用途;Andreas 强调专业工作流中的提效。
💡 制造场景提供相对明确的任务和成功标准;家庭照片修复则说明,产品价值有时来自团队未预先押注的使用方式,而不只是模型发布时展示的功能。
⚡ 真实机器人测试次数少时,成功率容易受样本波动影响;仿真到现实的差距也未消失。「2027 年是机器人之年」是嘉宾的预测,不能替代可复现的现场评测、成本与安全数据。
人物与机构
- Andreas Blattmann(Andy):BFL 联合创始人,参与潜在扩散研究;在节目中主要阐述视觉智能、多模态模型与机器人方向。
- Dustin Podell:BFL 创始研究成员;从软件工程和开源社区进入生成模型研究,在节目中重点讲述 SDXL、Kontext 和评测实践。
- Black Forest Labs(BFL):FLUX 系列模型的开发机构。嘉宾称团队在德国和美国均有根基。
- Stability AI:两位嘉宾职业经历的重要交汇点,也是 SDXL 等项目的研发背景。
- Deepgram:本集赞助商;节目在 50:36 设有赞助时段。
金句
「你应该只向机器人展示一次动作,它就应该能够做出来。」——Andreas 对目标能力的描述;不是现状声明。
「开发模型的核心部分,就是不断亲自采样,检查它的强项和弱项。」——根据 Andreas 关于评测实践的发言意译。
「这场争论还没有定论。」——Dustin 谈自回归与流匹配路线之争。
洞见与延伸背景
「世界模型」应拆成可测问题。 节目中嘉宾对这个宽泛称呼有所保留。对实际应用而言,比名称更有用的问题是:模型能否预测操作结果?环境变化后能否修正动作?换一种机器人或物体后,需要多少新数据?
编辑任务把评测拉近用户意图。 纯生成图像往往有多种可接受答案;编辑则至少能检查目标物是否按指令变化、其余内容是否保持。这并未消除主观判断,却让失败模式更容易分类。
通用预训练的收益,最终要落在适配成本上。 「四小时数据」和「少八倍数据」之所以引人注意,不是数字本身足够证明通用机器人能力,而是它们提出了一个可持续追踪的指标:面对新硬件、新场地、新任务,达到同一成功标准到底要付出多少数据与时间。
AI 智能体(Agent)式工作流不等于某一种生成架构。 主持人提出模型可生成、检查、再编辑的循环;嘉宾则强调,对话与多步操作可以由不同模型结构及训练方式实现。应分别评估模型能力、外部编排和最终任务完成率。
争议与需核实
- 商业数字口径:约 4.5 亿美元融资及已公开的 1 亿美元营收里程碑均为节目中的说法;营收的期间、定义与最新状态需查公司公告。
- 机器人案例可比性:「约四小时数据、少八倍数据」需要对应任务、基线、成功率定义、测试次数及是否跨场景,才适合横向比较。
- 实时运行参数:约 10 FPS、9–21 帧为访谈中的估计,嘉宾当场表示部分细节需查证。
- 架构归因:节目对第三方模型是否采用扩散或混合架构的讨论含明确猜测,不宜写成确定结论。
- 2027 年预测:制造业落地与家用机器人可用性的时间判断,应以实际部署规模、可靠性、安全和成本检验。
- 转写误差:英文字幕有姓名、品牌及术语识别错误;专有名词和精确引语宜以节目页面、视频或原始发布材料复核。
行动建议
- 评估图像编辑:建立一组真实任务,同时记录指令完成率、未指定区域的保持程度和人工返工时间。
- 评估多参考图:逐步增加参考数量,观察身份一致性收益何时开始低于素材整理与审阅成本。
- 评估机器人宣称:索取真实环境下的重复试验、新任务适配数据量、延迟、失败恢复及安全记录;不要只看精选演示。
- 跟踪技术路线:把训练数据效率、推理速度、交互能力与产品体验分开比较,避免以单一产品界面推断底层架构。
来源
- 节目页面:Building Visual Intelligence — Black Forest Labs
- YouTube 视频及章节
- 节目音频
- 英文转写来源:youtube-captions;本文依据所提供转写与官方章节整理,非逐字译稿。