这集讲什么
Gemini Robotics 2 展示了机器人从“会移动”走向“能理解任务并调动全身”的进展，但跨机身泛化、长任务可靠性与安全性，仍是通用机器人真正有用之前必须跨过的门槛。
1-3要点
- 运动能力不等于任务价值：高速奔跑是明确的技术成就，但实用机器人还须完成操作、适应环境并控制失误。
- 通用性与可靠性须同时评估：少量示范能教会新动作，不代表换场景、换机身后仍能稳定工作。
- 机器人是整套系统，不是单个模型：推理、动作、记忆、硬件和安全机制中的任一薄弱环节，都可能决定最终任务能否完成。
0:00 / --:--
The Cognitive Revolution · 10 月 3 日
Keerthana 认为 Gemini Robotics 2 展示了机器人从单一动作走向全身协调与任务理解的进展，但跨机身泛化、长任务可靠性与安全机制仍是通用机器人真正部署前必须跨过的门槛。
Gemini Robotics 2 展示了机器人从“会移动”走向“能理解任务并调动全身”的进展，但跨机身泛化、长任务可靠性与安全性，仍是通用机器人真正有用之前必须跨过的门槛。
这集还没有学习卡。生成后会保存在这一集，下次直接打开。
Latent Space· 2026-10-13Dyna-2：具备长达一小时自主能力的通用物理智能体——Jason Ma，Dyna RoboticsDyna-2: General Purpose Physical Agents with Hour-Long Autonomy — Jason Ma, Dyna Robotics同主题：机器人与世界模型
Training Data· 2026-10-20走进机器人数据工厂：Mecka 的 Josh Gao 谈如何给人装上传感器来训练机器人Inside the Robot Data Factory: Mecka's Josh Gao on Sensorizing Humans to Train Robots同主题：机器人与世界模型
All-In Podcast· 2026-07-28The Cognitive Revolution
One Brain, Any Body: Google DeepMind's Keerthana on Gemini Robotics 2, Cross-Embodiment & Humanoids
YouTube
音频
official_site_transcript；页面说明转写由自动生成，关键措辞与说话人归属宜再核对音频。通用机器人的讨论常把几种能力混为一谈：跑得快、抓得准、听懂指令，以及在陌生环境中连续完成任务。本集以中国机器人赛事的跑步视频开场，随后转向 Google DeepMind 的 Gemini Robotics 2：一个负责具身推理的模型，以及云端和端侧的机器人动作模型。主持人不断追问同一个实际问题——亮眼演示离可靠部署还有多远？
这集最有价值的地方，是把机器人进展从“能不能做一次”拉回“换个身体、换个场景、连续做十次还能不能成”。Keerthana 承认进步快得超出自己一年前的预期：研究重心已从夹爪拾放推进到多指灵巧操作、人形机器人下蹲取物与全身协调。但她仍把领域比作“GPT-2 阶段”，因为少样本学会一项演示任务，不等于能够在新机身上稳定复现，更不等于承担家庭或商业场所的开放式工作。
Gemini Robotics 2 的分层设计说明了这种落差。ER 负责理解场景、规划与调度，可通过 API 使用；VLA 则把意图转成身体动作，尚主要面向受信任测试者。两层各自的错误会在连续任务中累积，响应延迟、有限的场景记忆和机身差异也都会进入最终体验。因此，嘉宾没有把更大模型、世界模型或某一种训练数据奉为唯一答案：她更看重按任务组合快慢模型、实机数据、人类视频与传感器数据，并通过实验比较效果。商业场景虽有节拍要求，却比有儿童、杂物和不可预期接触的家庭更可控。未来机器人是否普及，衡量标准恐怕不是下一段更惊艳的视频，而是它能否在出错时停下、求助、恢复，并让人始终保有有效控制权。
💬 他们说了什么：主持人以中国机器人赛事的视频开场，询问人形机器人高速奔跑究竟意味着什么。Keerthana 认为，它确实展示了双足运动控制的进步，也让公众直观感受到与早期机器人挑战赛相比的变化；但她所在团队更关心机器人能否为人完成有用工作，而不是把足速推到极限。
💡 为什么重要：跑步有清楚的比较对象，容易传播；有用性却取决于任务完成、环境适应和可靠性。二者不能用同一条排行榜衡量。
⚡ 争议点：主持人提到“跑得比最快的人还快”，但访谈并未核对具体赛事、机器人型号与计时条件。更不能据此推断这些机器拥有同等级别的自主推理或操作能力。
💬 Keerthana 用“仿真到现实”（sim-to-real）解释进展差异。平坦地面及机器人与地面的接触相对容易建模，因而适合在仿真中大量训练；布料折叠则涉及摩擦、形变和复杂接触，现实表现更难准确模拟。部分刚性物体的拾取与放置仍较适合仿真训练。
💡 一种技能在视频中进展迅速，可能是因为它碰巧容易生成训练经验，而非机器人已经普遍理解物理世界。接触越复杂，仿真成绩转化为实机能力就越需要检验。
⚡ 被问到赛事机器人的具体控制架构时，Keerthana 明确表示自己没有参与，只能推测它们可能使用动作模仿、强化学习及导航控制器；这不是对参赛系统的技术披露。
💬 Keerthana 回顾，过去连基础拾放都困难；如今研究演示已转向人形机器人用手操作，同时迈步、下蹲，并依据物体和环境调整动作。面对部署所需的成功率，主持人区分了演示中的 50%、80% 成功与现实任务可能要求的 99% 以上可靠性。她则提出“泛化”和“精通”是两条相对独立的轴：窄模型可把少数任务练得很熟，通用基础模型有望降低掌握下一项任务的成本。
💡 产品采购者关心的是任务完成率和新任务导入成本，不只是能力清单。通用基础能力的商业价值，要在新增任务时需要多少数据、调试与维护中体现。
⚡ 谈话没有给出统一基准上各任务达到 50%、80% 或 99% 的实测表格。“拾放接近部署”也不能推广到所有物体、节拍和环境。
💬 对于“一次示范后机器人就会做”的视频，Keerthana 将其视为以视频提示基础模型：与文字、图片提示一样，它能减少针对任务重新训练的时间。真正的问题是换场景后能否适应，以及任务是否足够难——示范拾放与示范系垃圾袋不是一回事。她仍把领域比作“GPT-2 阶段”：要进入她心目中的下一阶段，少样本学习须在广泛任务上可靠，并能跨不同机器人身体工作。
💡 “一次学会”至少包含模仿、场景泛化和跨机身迁移三个层次。只展示第一层，不能证明已经有一颗可装进任何身体的通用“大脑”。
⚡ “GPT-2 阶段”是嘉宾用于校准预期的比喻，不是机器人领域公认的量化分级；机器人机身差异也没有数字模型跨手机、电脑运行时的直接对应物。
💬 Keerthana 将 Gemini Robotics ER 2 描述为偏“系统二”的具身推理模型，负责场景与语义理解；Gemini Robotics 2 是把意图转为机器人动作的视觉—语言—动作模型（VLA）；On-Device 2 则是可放在机器人本机运行的较小动作模型。主持人用自己的 API 小实验举例：从“把香蕉移到盘子”到工具调用，有时约需 6 秒。她回应，不同场景容忍的延迟不同：装配线不能久等，家务任务可能更看重完成质量；较大、较慢和较小、较快的模型会并行发展。
💡 分层使高层推理与实时性要求不同的动作控制可以分别改进，也让开发者按网络条件、计算资源和任务节拍选择方案。
⚡ 主持人的浏览器二维实验不是实机延迟基准。谈话也没有证明某一固定架构会成为长期标准；模型能力与速度之间如何蒸馏、协调，仍属研发问题。
💬 主持人询问 ER 2 的 128,000 token 上下文窗口，在机器人连续工作中相当于多久。Keerthana 粗估约 3 分钟的密集记忆，但强调取决于视频怎样采样、编码，以及还放入多少其他信息。她建议不必把遥远过去都保留成高密度图像：例如做饭时，可将已完成的步骤压缩成文字叙述，把上下文留给当前任务最相关的视觉信息。
💡 机器人不仅要“看见现在”，还要记得自己做过什么、哪些状态已经改变。视觉历史、文字摘要和任务状态的取舍，直接影响长任务的连贯性与成本。
⚡ “3 分钟”不是该模型的固定录像时长保证。压缩可能丢掉后来才变得重要的细节，因此记忆管理本身也需要按任务测试。
💬 ER 较接近成熟的 Gemini 推理与工具使用能力，因此先进入 API 和 AI Studio；动作模型仍通过合作伙伴与受信任测试计划推进。Keerthana 说，更广泛开放后，学术界的基准测试和开发者用法提供了不同于少量深度合作的反馈。ER 可以依据开发者定义的工具行动；在与 VLA 配合时，指令可通过语言、指向物体等形式传递，而非只有机械坐标。
💡 对开发者而言，重点是清楚声明机器人“能做什么”，再观察模型能否正确选择工具、监测结果并重新规划。高层决策与低层动作之间的接口质量，会影响系统整体表现。
⚡ 嘉宾指出机器人 API 尚缺统一标准，也未声称 ER 能同样熟练地操控任意陌生机型。主持人在简单二维场景中发现普通 Flash 与 ER 都表现不错，不能据此判定二者在复杂具身基准上没有差异。
💬 Keerthana 说，VLA 以整个人形身体及环境感知为依据，从指尖到脚部协调动作；稳定等更低层决策仍需系统配合。她提到与 Apptronik、Agile Robots、Boston Dynamics 的合作，并称端侧模型在已有基础能力上，使用约 200 个示例便能为多种机身学习多项任务。但把全新机身直接用于大量任务、同时保持高可靠性，仍无强有力的先例。连续 10 项任务时，高层调度与 VLA 各自的失误还会累积。
💡 “能迁移”与“零样本、可靠地迁移”相距很远。部署评估必须把单步操作、任务切换和完整流程分别测量。
⚡ 约 200 个示例是嘉宾描述的特定研究结果，不应理解为任何机器人、任何任务的通用数据需求。访谈没有提供足以计算十步总成功率的统一实测概率。
💬 回到她此前提出的“需要好手”这一要求，Keerthana 说，研究演示已从夹爪的灵巧操作推进到多指手，包括系垃圾袋等任务。她认为多指手现在站上灵巧操作前沿，但仍须改善可靠性、可重复性和成本。谈到力量时，她强调型号差异：一种手的力量被她粗略类比为 10 岁儿童，另一种据她所知可举约 20 公斤，她见过后者开罐，却不确定其扭矩边界。
💡 软件进步只有遇上合适的手、传感器和耐用机构，才能转化为操作能力。“手变好了”也不等于所有手都适合精细、重载和低成本任务。
⚡ 年龄类比、举重能力与开罐经历不是同一套标准化测试；尤其不能从举重数字直接推算指端扭矩或长期使用寿命。
💬 Keerthana 把安全视为能力的一部分，区分了至少三类问题：机器人可能因跌倒等操作失误伤人；可能误解目标或越过人类设定的边界；也可能在传感受阻时继续盲目行动。她举例，若有人把篮子罩在机器人头上，合理反应应是识别视觉受阻并请求移开，而不是照常执行。她还指出，人形外观容易使旁观者高估机器能力。
💡 家庭尤其难控制环境，又涉及儿童和近距离接触。安全不能只靠模型拒绝危险指令，还需要机械设计、感知异常处理和人类介入机制共同承担。
⚡ 会说话、会自然打手势的机器人容易被赋予人格。节目谈及这种人机互动体验，但机器人对自身任务的口头描述，不足以证明它有意识或真实偏好。
💬 主持人转述 NVIDIA 研究者 Jim Fan 的观点：机器人或许需要预测动作后的世界，再根据预期与现实的差异调整，而不能永远只在“观察—推理—行动”的循环中反应。Keerthana 认为结论未定，应由实验检验。对数据，她同样反对押注单一路线：实机遥操作数据与目标机器最贴合，却昂贵且受机型变化影响；带传感器的 UMI 类数据便于扩展并提供较精确的动作标签；第一人称人类视频规模大、语义丰富，却难准确还原精细动作。
💡 模型架构与数据来源不是抽象立场之争。它们分别解决预测、动作落地、精度和规模问题；硬件变化还会不断改变各方案的性价比。
⚡ 世界模型是否为流畅操作的必要条件，以及仿真能否补足大部分训练数据，本集都未给出定论。嘉宾明确把这些视为待研究的经验问题。
💬 面对“一个助手调度多台机器人，还是分别与每台机器人交互”的设想，Keerthana 主张保留多模态、高层与低层两种访问方式：用户既能交代整体任务，也能对桌面如何整理给出细粒度反馈。谈到“断路器”，她解释常见的紧急停止有硬停止与软停止：直接断电可能使双足机器人倒下；冻结动作在某些平台反而更安全。末端执行器的力传感、柔顺性与可反驱性，也有助于避免压碎脆弱物体。
💡 可靠的人机协作不是让用户只能下命令、等待结果，而是让用户能检查、纠正并在必要时安全接管。停止方式必须考虑机器人当时的姿态及周围的人。
⚡ 一个醒目的“停止按钮”并不自动等于安全设计；停止后的倒伏、所持物体和接触力都可能造成次生风险，需要整机验证。
“如果它只在你的机器人、你的特定配置上能工作，它真的是一颗通用大脑吗？”——Keerthana，意译
“安全是一种能力。人们不会使用不安全的机器人。”——Keerthana，意译
“你需要对问题投入感情，而不是对某一种方法投入感情。”——Keerthana，意译
official_site_transcript；自动生成转写）