Red-Teaming after Mythos — Zico Kolter & Matt Fredrikson, Gray Swan

播出信息

• 日期：2026年6月22日
• 嘉宾：Zico Kolter、Matt Fredrikson
• 场合：Gray Swan公司在播客中讨论AI安全性

背景

Gray Swan是一家专注于AI安全和对抗性测试的公司，由卡内基梅隆大学的研究人员创立。公司致力于帮助企业安全地使用AI技术，尤其是在大语言模型（LLM）和自动化系统的安全性方面。随着AI技术的快速发展，AI系统的安全性问题日益突出，Gray Swan通过其独特的红队测试和防御模型为企业提供解决方案。

节目结构 / 议程

1. Introduction: Gray Swan, AI Security, and CMU — 00:00 🎧 · ▶️
2. Why AI Security Is Different — 02:31 🎧 · ▶️
3. Testing Claude, Codex, and Prompt Injection — 06:38 🎧 · ▶️
4. Gray Swan Arena and Automated Red Teaming — 07:47 🎧 · ▶️
5. AI That Breaks Models Better Than Humans — 11:14 🎧 · ▶️
6. LLMs as Alien Intelligence — 14:00 🎧 · ▶️
7. Humans vs AI Agents — 19:00 🎧 · ▶️
8. Red Teaming, Jailbreaks, and Capability Elicitation — 24:35 🎧 · ▶️
9. Cygnal: Guardrails for AI Agents — 26:11 🎧 · ▶️
10. The Lethal Trifecta — 34:04 🎧 · ▶️
11. Can AI Automate AI Research? — 39:31 🎧 · ▶️
12. OpenClaw and the Computer-Use Security Problem — 45:47 🎧 · ▶️
13. Agent Identity, Permissions, and Enterprise AI — 50:44 🎧 · ▶️
14. The Future of AI Security — 54:24 🎧 · ▶️
15. AI Insurance and Compliance — 01:00:30 🎧 · ▶️
16. The Gray Swan Event Everyone Sees Coming — 01:04:32 🎧 · ▶️
17. Closing Thoughts — 01:06:04 🎧 · ▶️

分节详解

1) Introduction: Gray Swan, AI Security, and CMU

💬 他们说了什么： Swyx欢迎Zico和Matt来到节目，提到他们来自匹兹堡的卡内基梅隆大学（CMU），并祝贺他们获得了A轮融资。Zico指出，CMU自AI领域诞生以来一直是该领域的中心。Matt介绍Gray Swan的使命是让每个人都能安全地使用AI，强调大语言模型（LLM）作为软件的脆弱性。Gray Swan源于他们在CMU的研究，专注于深度学习系统的新漏洞和攻击面。— 00:00 🎧 · ▶️

💡 为什么重要： 这段介绍为讨论AI安全性奠定了基础，强调了Gray Swan在AI安全领域的独特定位和专业背景。

⚡ 争议点： 无明显争议。

2) Why AI Security Is Different

💬 Swyx提到AI安全是一个富有成效的研究领域，并提到Ian Goodfellow的影响。Zico指出，AI系统与传统软件不同，具有固有的漏洞，可能被欺骗。尤其是在使用广泛的模型中，漏洞可能导致新的攻击类别。Zico强调需要专门的AI安全和安全提供商。— 02:31 🎧 · ▶️

💡 这段讨论揭示了AI安全的独特挑战，特别是在大规模使用的模型中，漏洞可能导致广泛的安全问题。

⚡ AI系统的固有漏洞是否可以通过现有的安全措施完全消除。

3) Testing Claude, Codex, and Prompt Injection

💬 Zico谈到红队测试的重要性，特别是在测试模型对间接提示注入（IPI）的鲁棒性时。Matt解释了他们如何帮助前沿实验室测试其安全措施，并提供对抗性安全评估。— 06:38 🎧 · ▶️

💡 红队测试是识别和解决AI模型安全漏洞的关键方法，帮助开发者提高模型的安全性。

⚡ 红队测试的有效性是否足以应对不断变化的攻击技术。

4) Gray Swan Arena and Automated Red Teaming

💬 Matt介绍了Gray Swan Arena，一个由红队成员组成的社区，通过竞赛激励参与者发现模型的安全漏洞。Zico补充说，他们还开发了自动化红队测试系统，能够比人类更有效地发现模型的漏洞。— 07:47 🎧 · ▶️

💡 通过社区和自动化工具，Gray Swan能够更广泛地识别和修复AI模型的安全漏洞，提高整体安全性。

⚡ 自动化红队测试是否能完全替代人类的直觉和创造力。

5) AI That Breaks Models Better Than Humans

💬 Zico提到他们的自动化红队测试系统Shade在破坏模型方面比人类更有效。Matt指出，这种能力的提升是因为Shade能够在给定时间内自动找到更多漏洞。— 11:14 🎧 · ▶️

💡 自动化系统在识别AI模型漏洞方面的优势，显示出技术在安全领域的潜力和重要性。

⚡ 自动化系统的超越是否意味着人类红队测试的终结。

6) LLMs as Alien Intelligence

💬 Zico将大语言模型（LLM）描述为一种外星智能，指出它们在某些方面比人类更聪明，但在其他方面却容易被愚弄。Swyx提到LLM的智能与人类不同，Zico认为这提供了一个独特的实验机会。— 14:00 🎧 · ▶️

💡 理解LLM的独特智能形式有助于开发更有效的安全措施和应用。

⚡ 将LLM视为外星智能是否过于拟人化，可能导致误解其能力和局限性。

7) Humans vs AI Agents

💬 Matt介绍了人类与AI代理的对抗性测试，指出在某些情况下，AI代理比人类更容易被提示注入攻击。Zico补充说，这种测试揭示了AI和人类在处理信息时的不同弱点。— 19:00 🎧 · ▶️

💡 理解人类和AI代理在安全性方面的不同表现，有助于开发更有效的防御策略。

⚡ AI代理的弱点是否可以通过改进训练和设计来完全消除。

8) Red Teaming, Jailbreaks, and Capability Elicitation

💬 Zico讨论了红队测试在能力引出中的作用，指出通过对抗性测试可以更好地了解模型的最大能力。Matt补充说，这是一种优化问题，需要找到合适的输入来触发模型的特定输出。— 24:35 🎧 · ▶️

💡 红队测试不仅用于发现漏洞，还可以用于评估和提升模型的能力。

⚡ 红队测试的结果是否总能准确反映模型的真实能力。

9) Cygnal: Guardrails for AI Agents

💬 Zico介绍了Cygnal模型，这是一种用于检测和防止AI代理政策违规的过滤器模型。Matt指出，Cygnal能够在不增加模型规模的情况下提高其鲁棒性。— 26:11 🎧 · ▶️

💡 Cygnal提供了一种有效的方法来增强AI代理的安全性，特别是在面对对抗性攻击时。

⚡ Cygnal的防御能力是否足以应对未来更复杂的攻击。

10) The Lethal Trifecta

💬 Zico解释了致命三合一，即不受信任的数据输入、访问私密信息和数据外泄的组合如何构成安全风险。Matt补充说，尽管存在这些风险，AI仍然可以被安全地使用。— 34:04 🎧 · ▶️

💡 理解这些风险因素有助于开发更全面的安全策略，以保护AI系统。

⚡ 是否可以完全消除这些风险，或者只能通过缓解措施来管理。

11) Can AI Automate AI Research?

💬 Zico讨论了AI在自动化科学研究中的潜力，特别是在机制可解释性研究中。Matt指出，AI可以提高研究效率，减少对人力的依赖。— 39:31 🎧 · ▶️

💡 AI在科学研究中的应用可以加速创新，特别是在复杂系统的分析和理解方面。

⚡ 自动化研究是否会导致对AI的过度依赖，影响研究的独立性和创造性。

12) OpenClaw and the Computer-Use Security Problem

💬 Zico和Matt讨论了OpenClaw的安全问题，指出其在计算机使用中的攻击面。Zico强调需要通过信号插件和其他安全措施来保护OpenClaw。— 45:47 🎧 · ▶️

💡 理解和解决OpenClaw的安全问题对于确保其在企业环境中的安全使用至关重要。

⚡ OpenClaw的安全措施是否足以应对其广泛的攻击面。

13) Agent Identity, Permissions, and Enterprise AI

💬 Swyx讨论了代理身份和权限管理的重要性，Matt指出目前企业在为代理分配身份和权限方面面临挑战。Zico预测未来将有更细化的身份管理系统。— 50:44 🎧 · ▶️

💡 有效的身份和权限管理对于确保AI代理的安全和合规使用至关重要。

⚡ 代理身份管理系统的复杂性是否会影响其在企业中的广泛采用。

14) The Future of AI Security

💬 Zico展望了Gray Swan的未来，强调企业对AI安全的需求将继续增长。Matt指出，越来越多的企业在部署AI代理时会主动寻求安全解决方案。— 54:24 🎧 · ▶️

💡 随着AI技术的普及，企业对安全解决方案的需求将推动AI安全领域的进一步发展。

⚡ 企业在AI安全方面的投入是否足以应对未来的安全挑战。

15) AI Insurance and Compliance

💬 Zico和Matt讨论了AI保险和合规的重要性，指出AI保险市场正在兴起，并与Gray Swan的模型相辅相成。Swyx提到AI保险类似于网络保险，需要第三方评估风险。— 01:00:30 🎧 · ▶️

💡 AI保险和合规框架的建立将为企业提供更好的风险管理工具，促进AI技术的安全应用。

⚡ 当前的AI保险框架是否足以应对复杂的AI安全风险。

16) The Gray Swan Event Everyone Sees Coming

💬 Zico解释了“灰天鹅事件”的概念，指出这是一个可以预见但不常见的事件，强调AI安全事件的不可避免性。Matt补充说，尽管这些事件可能不会被公开，但它们确实会造成实际损害。— 01:04:32 🎧 · ▶️

💡 理解和准备应对灰天鹅事件对于企业的长期安全策略至关重要。

⚡ 企业是否足够重视和准备应对潜在的灰天鹅事件。

17) Closing Thoughts

💬 Swyx感谢Zico和Matt的参与，并表示期待未来的合作和发展。Zico和Matt感谢主持人的邀请，并表示将继续致力于AI安全的研究和发展。— 01:06:04 🎧 · ▶️

💡 节目的结束语总结了讨论的要点，并为未来的合作和发展奠定了基础。

⚡ 无明显争议。

人物与机构

• Zico Kolter：Gray Swan联合创始人，卡内基梅隆大学教授。
• Matt Fredrikson：Gray Swan联合创始人，卡内基梅隆大学教授。
• Gray Swan：专注于AI安全和对抗性测试的公司。
• Carnegie Mellon University（CMU）：AI研究的领先机构。

数字与证据

• Gray Swan Arena拥有约15,000名红队成员。
• Shade系统在破坏模型方面比人类更有效。
• 人类红队测试成功率在60%到70%之间。

金句

• "Large language models are software, and if you want to deploy them or build applications on top of them, you need to understand the vulnerabilities and what can go wrong." — Matt
• "AI systems have inherent vulnerabilities of their own. They can be tricked in ways people can be tricked, so you need a different security mindset." — Zico
• "A gray swan is an unlikely event that you can still see coming." — Zico

洞见与延伸背景

【背景补充】AI安全性是一个快速发展的领域，随着AI技术的普及，企业对安全解决方案的需求将继续增长。自动化红队测试和防御模型如Cygnal提供了有效的方法来应对这些挑战。AI保险和合规框架的建立将为企业提供更好的风险管理工具，促进AI技术的安全应用。

争议与需核实

• 自动化红队测试是否能完全替代人类的直觉和创造力。
• AI代理的弱点是否可以通过改进训练和设计来完全消除。
• 当前的AI保险框架是否足以应对复杂的AI安全风险。

行动建议

• 企业应积极采用自动化红队测试和防御模型来提高AI系统的安全性。
• 在部署AI代理时，企业应重视身份和权限管理，以确保合规和安全。
• 企业应关注AI保险和合规框架的发展，以便更好地管理风险。

来源

• official_en_transcript
• latent.space