0:00 / --:--
Latent Space · 6 月 22 日
Gray Swan 的 Zico Kolter 与 Matt Fredrikson 认为，AI 智能体带来的风险不只是传统软件漏洞，而是模型可能被不可信内容诱导…
Gray Swan 的 Zico Kolter 与 Matt Fredrikson认为，部署 AI 智能体带来的风险不只是传统软件漏洞，而是模型可能被不可信内容诱导、误用工具或越过组织政策；因此，企业需要把对抗测试、专门训练的防护模型与常规权限控制结合起来。
这集还没有学习卡。生成后会保存在这一集，下次直接打开。
No Priors· 2026-10-22新的顶级掠食者：CrowdStrike CEO George Kurtz 谈武装了 AI 智能体的对手The New Apex Predator: CrowdStrike CEO George Kurtz on Adversaries Armed With AI Agents同主题：AI 与网络安全
a16z Show· 2026-10-06为智能体时代构建防御体系：Kevin MandiaBuilding Defense for the Agentic Era: Kevin Mandia同主题：AI 与网络安全
The Twenty Minute VC (20VC)· 2026-10-2620VC：Satya Nadella 谈开放与闭源模型：谁会赢｜是否该信任前沿模型提供商｜为什么公司需要拥有自己的智能｜垂直整合的重要性：从芯片到模型等Latent Space
Red-Teaming after Mythos — Zico Kolter & Matt Fredrikson, Gray Swan
YouTube
音频
Gray Swan 将自身任务表述为帮助人们安全、可靠地使用 AI。Matt 说，大语言模型是软件，但部署模型或在其上构建应用时，必须了解它会怎样出错：轻则智能体调用错误工具，重则攻击者诱使智能体偏离任务、泄露数据或窃取凭据。两位嘉宾说，他们在 CMU 研究深度学习系统的新漏洞与攻击面已有十多年。
这期访谈围绕两条相互连接的工作线展开：一条是通过社区竞赛和自动化系统寻找模型及智能体的失效方式；另一条是用专门的防护模型检查政策违规。讨论从 Claude Mythos 预览中的间接提示注入出发，延伸到浏览器智能体、计算机使用、企业权限、保险与合规。所给转写在约 32 分钟至 46 分钟附近存在明确省略，因此涉及该区间的议题只能依据保留下来的话语概括，不能视作对整段论证的完整记录。
这场对话的主线，是把“模型是否足够聪明”与“模型在对抗条件下是否可靠”分开。Zico 认为，AI 系统有自身的固有漏洞：它们会以不同于人的方式受骗；当许多组织依赖少数通用模型及智能体时，共通弱点还可能导致相关性失效。Matt 以 Mythos 的间接提示注入测试说明，编码智能体读取外部文本时，问题不只是能否完成原任务，而是能否在不可信内容试图改写任务时仍守住目标。Gray Swan 因而同时经营人类红队社区 Arena、自动化红队系统 Shade，以及防护模型 Cygnal：前两者寻找突破，后者尝试识别政策违规。嘉宾提出 Shade 在限定时间和任务下已能自动找到比人类更多的突破，但 Matt 随即限制了这一结论的范围，并不称其全面超越人类。
访谈最有价值的转折，是将模型防护放回实际部署环境。浏览器挑战显示，人会遭遇钓鱼，智能体会遭遇提示注入；两者不能凭单一排名判定谁普遍更安全。企业场景则进一步提出权限问题：如果智能体默认继承人的权限，即便增加过滤层，也无法替代隔离、认证和访问控制。两位嘉宾预期，实验室关注的安全议题会随着 Codex、Claude Code 和 OpenClaw 一类工具的采用进入更多企业；保险方也可能需要独立测试与风险缓解依据。不过，公开重大事故是否会成为市场转折点、通行合规框架何时形成，以及通用计算机使用能否得到充分防护，在转写中仍是预测或未解问题。
💬 他们说了什么：主持人介绍两位嘉宾，并提到 CMU、Snowflake Summit、Snowflake 的投资关系及 Gray Swan 的 Series A。Matt 将公司使命概括为让每个人都能安全、可靠地使用 AI。他强调，模型和基于模型的应用都必须接受漏洞审视。风险既包括智能体误调工具，也包括攻击者使其泄露数据或窃取凭据。他说公司源于两人在 CMU 对深度学习攻击面、严重性评估及鲁棒性的长期研究。
💡 为什么重要：这一定义把讨论对象从单个聊天回复扩展到能调用工具、接入组织系统的应用。它也解释了为什么访谈后面同时讨论模型行为和传统系统安全措施。
⚡ 争议点：“安全、可靠地使用”是使命表述，不等于已经证明任何部署都能达到该目标。
💬 Zico 认为，AI 已改变软件生态，还将影响更多领域，但其行为与熟悉的软件不同。他区分了“用 AI 发现软件漏洞”和“AI 系统自身存在漏洞”：后者也会被诱骗。他特别提出相关性失效，因为众多用户依赖少数模型；如果 Codex、Claude Code 这类被广泛使用的智能体存在共通弱点，影响可能跨越单一部署。面对主持人关于“非传统网络安全节目”的提问，他说 Gray Swan 关注的是采用和部署 AI 时引入的风险。Matt 补充，自治系统一旦接入更大的平台或网络，模型风险就会与组织的网络安全目标相连。
💡 不能因为模型能帮助防守，就推定模型本身值得信任。评估单位也不应只停留在一次回答，而要看到共享模型、工具连接及部署范围。
⚡ 相关性失效是嘉宾提出的风险机制；转写没有给出其发生频率或损失规模。
💬 Zico 提起主持人参与 Claude Mythos 预览中的间接提示注入议题，并问收到一个模型后该怎样测试。Matt 说，在 Mythos 案例中，Anthropic 关心模型对间接提示注入有多鲁棒。编码智能体会抓取、阅读操作者无法控制的外部文本；测试要看它能否坚持原任务，而不被这些文本劫持。Gray Swan 还帮助前沿实验室检查网络滥用相关的防护。他把这些工作归为对抗性安全评估，供模型开发者比较不同迭代的进展。
💡 攻击入口不是用户直接向模型发指令，而是模型执行正当任务时遇到的不可信内容。因而“模型能读什么”与“读到的内容有无权改变目标”是两个不同问题。
⚡ 这里说明了测试目标，但未提供 Mythos 测试的完整方法、结果或跨模型排名。
💬 Matt 介绍 Gray Swan Arena：它组织红队社区、设置有奖金的挑战，并为找到违反模型开发者安全目标的方法付费。他称 Discord 服务器约有 15,000 人，但明确说并非所有人参加每场比赛。挑战的一部分来自实验室赞助方的需求，发现会向上游模型开发者提供信号。另一条工作线是训练自动化红队模型，测试纯聊天模型以及带工具的智能体。Matt 说，工作重心已从绕过聊天内容政策，转向智能体、工具使用和下游应用。
💡 社区竞赛提供多样化的人类攻击思路；自动化测试则使反复寻找失效成为可能。两者的对象也随着模型从聊天界面进入工具环境而改变。
⚡ 社区人数不等于活跃红队人数，也不直接证明漏洞发现质量；奖金设计还须防止只追求容易获奖却价值很低的结果。
💬 Zico 说，通用前沿模型可能因自身安全训练而拒绝协助攻击别的模型，所以自动化红队需要专门训练。他认为模型变大并不会自然改善对抗鲁棒性，也不保证它默认擅长红队工作。Gray Swan 的自动化系统名为 Shade；Zico 称近期人与系统的比赛中，Shade 更善于找到突破。Matt 随即补充：这一比较是在固定时间、特定任务集合下成立，尚不能称为全面“超人类红队”。他所愿意确认的是，在给定时间窗口内，自动化方法能够发现更多突破。
💡 同一句“机器超过人类”，若不保留任务和时间条件，就会从测试结果变成过度概括。专门训练也说明红队能力与通用模型能力并非同一个指标。
⚡ 转写没有列出该比赛的任务、样本、计分方式或优势幅度，不能据此推出 Shade 在所有攻击面都胜过人。
💬 Zico 反对由模型某些奇特失败直接推断其“没有智能”；他认为大语言模型具有一种与人不同的智能。对于“有无意识”，他表示不认为有，并指出这是哲学问题。他说，对抗攻击会突出人和 AI 各自容易受骗、彼此却未必会受骗的差异。谈到机械可解释性，他承认自己不是该领域的核心研究者，但认为目前许多工作仍是零散地验证小假设。他对编码智能体自动执行大量实验抱有新的乐观态度，并主张“先把 AI 用于研究 AI 本身”。
💡 若人的直觉无法覆盖模型特有的失效方式，系统性实验就比单靠类比更关键。这也把安全工程与模型理解连接起来：发现攻击面，可能同时帮助研究模型如何工作。
⚡ 关于“智能”、意识以及自动化能否使可解释性研究更成体系，均属受访者判断；访谈未提供验证这些宏观判断的实验结果。
💬 Matt 介绍一项“Human Browser Agent Robustness Challenge”：让人类参与者或若干浏览器智能体执行浏览任务，红队人员自行选择钓鱼攻击人，或提示注入智能体。红队人员知道目标是人还是智能体，并会相应调整技法。Matt 说，有些模型在该设置下很容易被注入；人类表现也不总稳健，熟练攻击者钓鱼人类参与者的成功率可达 60%–70%。但他明确反对据此宣称模型已普遍比人安全：双方会栽在不同的攻击上。随后他们讨论评测意识——过于像模拟的邮箱或网页，可能让模型误以为“反正是测试”，从而做出原本不应做的事。
💡 把人和智能体放进相近任务，有助于提出更有针对性的比较；但比较结果仍取决于攻击者、任务和测试环境。评测若与真实使用差异太大，也可能测到模型对“模拟”的反应，而非真实部署中的行为。
⚡ 60%–70%只对应访谈所述的熟练攻击者及该挑战场景，不能推广为一般人的钓鱼受害率；红队知晓目标类型，也不是“双盲”比较。
💬 Zico 将 Arena 和 Shade 称为寻找问题的一侧，另一侧则是名为 Cygnal 的防护模型。他描述 Cygnal 位于用户、语言模型与工具调用之间，检查政策违规。其主张是：模型规模增加不必然提高抵抗越狱或对抗压力的能力，改善往往需要明确的安全训练。Matt 提到一张将 GPQA Diamond 能力与间接提示注入攻击成功情况相对照的散点图，认为二者并无简单对应关系；Zico 随即指出其中也有轻微相关及安全训练的混杂因素。谈到企业部署，嘉宾说组织可能有特定规则，例如某类用户或智能体不应触碰某数据库；单纯改系统提示词未必能可靠执行这些规则。
💡 把发现的攻击用于训练专门的检查层，构成“测试—防护”的反馈关系。企业规则通常随部署而变，通用模型的默认行为不能直接代表某组织的授权政策。
⚡ 转写没有提供该散点图的原始数据，也没有给出 Cygnal 在所有部署中的效果界限；部分规则仍应通过明确的访问限制实施，不能一概交给模型判断。
💬 此处之前的转写有省略；保留下来的讨论从计算机使用与 OpenClaw 的风险取舍继续。嘉宾指出，智能体“像我一样操作”正是其有用之处，过度沙盒化又会限制能力。Matt 直言，具备计算机使用能力的系统可以被攻破；两人因而讨论如何在可用性、权力与安全之间移动取舍边界。Zico 表示，Cygnal 对权限和插件较受限的编码智能体已有较好表现，但要覆盖 OpenClaw 式的广泛工具使用仍属未来工作。他与 Matt 同时强调隔离环境、认证、访问控制及系统层安全措施；Matt 以银行为例，反对让此类智能体在整个网络中任意活动。
💡 防护过滤器只能处理风险的一部分；智能体实际能触达的系统和数据，决定了失误或被劫持后的后果。部署设计必须同时回答“让它做什么”和“即便出错也不能碰什么”。
⚡ 因中段省略，不能还原此前提及的具体测试数字或场景；“可以被攻破”也不等于每一种配置都同样脆弱。
💬 主持人提出智能体原生身份与认证层的问题。Matt 说，组织连现有员工的身份、能力及基于角色的访问政策都不容易配置，替代表人工作的智能体建立权限更复杂。Zico 认为，目前常见默认方式仍是“智能体拥有你的权限”，尽管可能运行在沙盒中。两人讨论了另一个可用性陷阱：若智能体频繁因权限不足而请求用户批准，人可能逐渐习惯性同意。Zico 预测，初期方案或许不是每个应用一个身份，而是先区分工作、家庭等不同账户与应用组合，再逐步细化。谈到 2026 年及以后，他还预计原本由前沿实验室优先处理的智能体安全问题，会随着企业采用相关工具而变得普遍。
💡 身份与权限不是防护模型的替代品，也不是可以推迟到部署后的细节。授权范围既影响智能体能否完成工作，也限制被误导时能够造成的损害。
⚡ 不同“身份档案”如何实现，是 Zico 的预测而非已落实的行业方案；Matt 也明确表示当时并未与他人合作提供这一产品。
💬 在这一段前，Matt 说企业通常不愿将内部智能体直接放到公开 Arena 接受任何人攻击，因此 Gray Swan 也组织由选定参与者测试的私人 Arena；他举出的规模是约 20 名手选参与者。公开挑战的奖励与激励按场次设计，自动评分无法处理的问题有时会交给人判断。转向保险时，Zico 认为 Shade 和 Arena 可用于评估 AI 部署风险，Cygnal 一类系统则可用于风险缓解；他特别说明，更完整的合作模式仍属假设。Matt 说客户也关心坏结果的保障及合规帮助。Zico 指出，AI 保险尚没有像已有行业标准那样被广泛接受的完整合规框架；Matt 认为 AUC 对技术问题及缓解措施建立框架的初步尝试值得关注。
💡 保险若要定价或提出要求，需要对风险与缓解措施有可检查的依据，而不是只看部署者自述。私人测试安排则回应了企业既需要外部挑战、又不愿公开内部系统的矛盾。
⚡ 访谈没有给出私人 Arena 的统一效果、保险定价模型或已获普遍认可的 AI 合规标准；“评估—缓解—承保”不能写成已完成的制度闭环。
💬 在此之前，Zico 提问：企业购买 AI 或智能体保险，究竟会受交易要求驱动，还是出于对风险本身的担忧。Matt 判断，第一次重大的公开提示注入事故可能会推动市场。主持人说，他所知尚无“巨大”的公开案例。Zico 解释公司名称：灰天鹅是虽不常见、却能预见的事件；他认为相关事件会发生，发生时也不会令人完全意外，因此应提前准备。Matt 补充，有些事故并不公开；按他的说法，他们知道已有造成实际损害的事件，并曾因此接触到客户。结尾处，Zico 把更充分地理解模型作为长期方向。
💡 这一比喻把访谈的研究、产品与部署讨论收束为同一问题：已知存在风险时，是否要等到公开重大事故才行动。它也提醒读者区分“没有看到公开大案”和“没有发生损害”。
⚡ 未公开事故的细节、损失及可核验材料未在转写中提供；公开重大事故是否会成为保险市场转折点仍是预测。
“AI 系统自身也带来新的漏洞。” “AI systems themselves introduce new vulnerabilities.” — Zico
“如果你只是把模型做得越来越大，它不会因此变得更能抵抗对抗压力。” “If you just make a model bigger and bigger, it will not get more robust to adversarial pressure.” — Zico
“我不认为我们已经达到全面超人类的红队水平。” “I don’t think we’re quite to superhuman levels of red teaming yet.” — Matt
“也许我们首先应该自动化的科学，是可解释性研究本身。” “Maybe the first science we should automate is the science of interpretability.” — Zico
“灰天鹅是不大可能发生、但你仍能看见它正在到来的事件。” “A gray swan is an unlikely event that you can still see coming.” — Zico
reused_en_transcript