这集讲什么
Halcyon 创始人 Mike McCormick 认为,AI 安全缺的不只是方案,更是能把方案变成机构、产品与可执行规则的创始人和领导者。
1-3要点
- 把人才瓶颈置于项目瓶颈之前:先找到能够执行的人,再共同确定其最适合创建或加入什么机构。
- 组织形式服从任务:慈善资助与风险投资可以分别承担公共品研究和可形成市场的安全产品。
- 争取时间还不够,必须用好时间:若进展放缓,控制、监督、网络防御和验证领域仍须快速建设。
0:00 / --:--
The Cognitive Revolution · 9 月 25 日
Halcyon 创始人 Mike McCormick 认为 AI 安全领域最稀缺的不是技术方案,而是能把方案转化为机构、产品和可执行规则的创始人与领导者。
Halcyon 创始人 Mike McCormick 认为,AI 安全缺的不只是方案,更是能把方案变成机构、产品与可执行规则的创始人和领导者。
这集还没有学习卡。生成后会保存在这一集,下次直接打开。
The Cognitive Revolution
Zero to One in AI Safety: Halcyon's Mike McCormick on Launching 30 New Orgs & the Founder Bottleneck
YouTube
音频
Halcyon 同时使用非营利资助和营利性风险投资两种工具,帮助人才在 AI 安全、网络安全和生物安全领域创建机构。McCormick 特别关注组织成立前后各约六个月:潜在创始人此时既要判断自己该做什么,也要承担职业转换、组建团队和寻找资金的成本。
本集不是逐一介绍投资组合,而是借 Goodfire、AIUC、Transluce、Hadrian 等案例,讨论一个更大的问题:如果技术进展很快,社会能否同样快地建立研究、验证、防御与协调能力?
McCormick 的核心判断是,AI 风险治理正在同时催生多个尚未成熟的行业:模型可解释性、可扩展监督、评测、网络防御、生物防御,以及让各方能够遵守并核验协议的技术。他选择从“人”入手,而不是先列出一张完整的问题清单:找到有创业或组织扩张能力的人,用职业转型资助为其争取探索时间,再视任务选择非营利机构或公司。Goodfire 从创始人的转向期走向可解释性研究公司,AIUC 则试图把标准、审计与保险接起来,体现了这一路径的不同形态。
节目中最有张力的矛盾是时间:若 AI 发展接近极短预测,今天成立机构是否已经太晚?McCormick 没有把预测当成定论,而是优先支持未来一至四年可能发挥作用的工作。他尤其强调,减速或国际协议不能只靠表态;若无法验证数据中心在训练还是推理、实际提供服务的是否为宣称的模型,协议就缺乏执行力。反过来,密码学和硬件工具若无法进入法律与外交安排,也难以产生治理效果。
这套战略仍有未解之处。成功募集资金并不等于降低风险;保险标准可能改善企业行为,也可能沦为合规标识;能运行的验证技术更不意味着各方愿意接受监督。但本集提供了一个具体的行动框架:把 AI 安全看作需要人才、组织和制度共同建设的领域,而不是只等待某项研究突破。
💬 他们说了什么:McCormick 介绍,成立约三年的 Halcyon 一边提供非营利资助,一边通过风险投资基金投资公司;在他看来,这是服务同一使命的两件工具,而非互不相干的项目。他称 Halcyon 已协助启动约 30 个组织,这些组织合计筹得约 5 亿美元,资金同时包括慈善捐款和风险资本。
💡 为什么重要:有些公共安全工作难以从客户处收费,另一些却可能建立可持续的产品市场。按任务选融资方式,可以让“应否成立公司”成为待判断的问题,而不是预设答案。
⚡ 争议点:项目数量和后续融资额说明了动员能力,却不能直接衡量安全成效;两种资金工具并用,也使投资回报与公共使命如何保持一致成为持续的治理问题。
💬 McCormick 说,Halcyon 最早的两笔职业转型资助给了当时仍在经营上一家公司的 Goodfire 创始人 Eric Ho 与 Dan Balsam,让他们有时间探索 AI 安全方向。随后,他们在一次闭门交流活动中决定聚焦模型可解释性,组队成立 Goodfire;Halcyon 的基金也参与其早期及后续轮次投资。按嘉宾当时的说法,Goodfire 最近的 B 轮融资超过 1 亿美元,估值超过 10 亿美元。
💡 这一案例展示了“先支持人探索,再支持组织成长”的路径。对仍有工作和生活开支的人而言,转向期的资金、信任与人脉可能与成立公司后的投资同样关键。
⚡ McCormick 高度评价 Goodfire 的研究地位,但“领先”属于他的判断。可解释性研究能否及时转化为可靠的危险行为检测与干预,仍是比融资规模更难回答的问题。
💬 McCormick 将 AIUC 描述为“标准加保险”的组合:企业需满足涉及安全与安保实践的 50 多项要求,才能购买相应保险。他设想,向大型企业销售 AI 产品的公司会因客户要求认证和保障,而更愿意提高安全水平。
💡 这是一条不同于单纯倡议的路径:让采购方、保险方与供应商的利益相互作用,把安全实践变成获得交易与风险保障的条件。
⚡ 标准是否覆盖真正重要的风险、审核是否足够严格、保单对新型事故的保障边界在哪里,都需要具体检验。“通过认证”不等于“风险已被消除”,保险也不能替代技术防护。
💬 McCormick 介绍,Transluce 是聚焦“可扩展监督”的独立研究机构:当模型能力越来越强,人类如何理解、检查并评价其工作?他提到其研究工具 Docent,以及与外部机构合作开展评测的工作。
💡 监督的困难不只是“多雇一些审核员”。当任务复杂到人难以独立完成或核验时,监督方法本身需要改进;独立机构也能为模型实验室以外的研究者提供工具。
⚡ 可扩展监督仍是研究方向,而非已解决的流程。即便工具能发现某些问题,也需要确认它能否应对能力继续提高、任务分布变化或刻意规避检查的模型。
💬 针对 AI 可能加剧的生物风险,McCormick 介绍了储备个人防护装备的 Hadrian:Halcyon 曾以约 5 万美元的小额启动资助支持其探索;他转述的估算是,投入数亿美元量级,或可储备足以让大量美国劳动者在严重疫情期间继续工作的装备。他也谈到另一项室内空气质量创业工作,以及学校作为潜在早期客户的可能性。
💡 生物防御不必等到危机发生才有需求。学校平时减少常见呼吸道疾病传播,与面对未来疫情的韧性建设可能指向同一类设施改进。
⚡ 装备数量、适配性、轮换成本和实际分发能力,都会影响储备计划的真实效果;空气净化技术也需分别验证有效性、安全性、安装条件与预算可行性。主持人希望为孩子的学校安装灯具,却难以找到审批人,恰好说明技术方案还会遇到制度瓶颈。
💬 面对从可解释性到防疫设施的宽广项目组合,McCormick 说 Halcyon 的世界观其实很集中:AI 进展可能很快,风险重大且相互交织,而最稀缺的资源是能够领导机构、把工作做成的人。他观察到,AI 安全领域不仅新,还缺少曾创办成功企业、管理大型团队或担任高级公共职务的资深人才。
💡 这解释了 Halcyon 为什么不只寻找机器学习研究者。某些问题的关键可能是组织管理、采购、销售、公共卫生或政策执行,而不是再提出一个研究题目。
⚡ “创始人是最大瓶颈”是一项战略判断,未排除算力、资金、监管权限或基础科学突破在特定领域更稀缺。项目覆盖广,也可能使资源和专业判断过于分散。
💬 主持人质疑:如果发展接近“AI 2027”式的快速时间线,成立新机构还来得及吗?McCormick 承认不确定,因此优先考虑未来 一至四年可能产生作用的项目;若距离极快的能力跃升只剩 三至六个月,判断会截然不同。他尤其强调验证:无论实验室间协议、国家间协议还是监管规定,都需要核实训练与推理用途、模型身份等承诺。Halcyon 已支持尝试使用零知识证明验证推理、建设可验证云基础设施的早期项目。
💡 减速若能争取时间,安全领域仍须利用这段时间建设能力。更关键的是,协议需要“能查证什么”的技术基础;技术也需要法律、外交与组织安排才能发挥效力。
⚡ 这些验证方案尚处早期,成本、覆盖范围和抗规避能力未知。“AI 2027”在对话中是情景参照,不是已证实的时间表;据此配置资源必须保留不确定性。
💬 McCormick 说,他首先看具体的人:此人是否真想承担创业的困难?若要另建一家可解释性机构,相对 Goodfire 是否有独特方向和能力?如果想做的基本是现有团队已在做的事,加入可能更合适。他给转型者的建议是“积极推进,但不要仓促决定”。
💡 新组织能增加方法多样性,却也会分走有限人才;现有组织能迅速扩大规模,但未必容纳所有重要思路。选择应同时取决于领域空白与个人适配度。
⚡ “独特角度”很容易在成立前讲得漂亮,真正价值却要经过实践验证。反过来,过度要求新团队证明差异,也可能阻碍尚未被主流机构认识的研究路线。
💬 McCormick 说,Halcyon 很多资助属于职业转型资助:申请人可能还不知道要创立还是加入机构、做公司还是非营利项目,但需要支付生活开支并投入时间寻找方向。他举出的资助额度示例为 5 万、10 万或 20 万美元。支持对象不限于创始人,也包括可能加入成长中机构的 CTO、COO 等资深管理者。
💡 资助并非只支付“做出成果”后的费用,也能购买认真比较路径的时间。对于已有全职职责的人,腾出时间学习领域、认识合作者和检验自己能否胜任,可能避免一次仓促转型。
⚡ 个人能力、使命感与执行力很难在资助前精确判断;给予探索空间也意味着部分尝试不会形成机构。如何评估这些未成立项目的价值,是这类资助模式固有的难题。
💬 谈到开源权重模型,McCormick 坦言很难找到能对恶意使用者普遍生效的模型内安全措施,因此强调也要增强外部世界的防御韧性。随后两人讨论 AI 意识及道德地位:他认为问题重要,却不确定如何判断当前模型是否有主观体验;同时指出,网络攻击、生物事故或失控风险并不以模型“有意识”为前提。
💡 这区分了两类容易混在一起的问题:系统是否值得道德关照,以及系统是否能造成伤害。意识问题悬而未决,不应成为推迟具体防御工作的理由。
⚡ 对开源权重模型能否施加持久限制、模型是否可能有体验,各方都缺少公认的判据。节目中的训练设想和意识类比属于探索性讨论,不能当作已验证的安全办法。
💬 McCormick 介绍了 Halcyon 支持的公共沟通机构 Seismic Foundation,也承认自己更熟悉技术公司与研究型非营利机构,对倡议和政策工作把握较少。主持人追问如何让治理理念真正成为有约束力的制度;对话涉及自愿承诺、行业联盟,以及 Fathom 推动独立验证机构的构想。主持人还举出公众协商工具和地方层级提案机制,讨论可能的制度入口。
💡 能设计规则,不等于能让当事方接受、实施并受其约束。公共讨论、联盟形成、法律授权和技术验证,是从提案走向治理能力的不同环节。
⚡ 自愿承诺可能是务实起点,也可能止步于无强制力的表态。新的协商工具即便改善意见汇总,也无法自动解决既有权力、法律权限和政治激励问题。
💬 McCormick 说,Halcyon 正召集约 25 位从事密码学、软件、硬件、治理及协调等验证环节的创始人交流;他也愿意支持其他建设人才与机构生态的团队。谈及职业选择,他认为安全机构应支付足以让人维持家庭生活的报酬,同时承认有人会降薪转行。他特别点名组织扩张型 COO、招聘人才,以及网络安全、密码学、形式化方法等领域的专业人士。结尾,他邀请有意转向的人通过 hello@halcyonfutures.org 或网站联系;熟人引荐受欢迎,但并非必需。
💡 研究机构从十几人扩张到数十、上百人,需要的不只是研究负责人,还需要会招聘、管理和搭建运营体系的人。验证工作也不是单一发明,而是跨技术与制度层面的配套建设。
⚡ 更高薪酬有利于吸引人才,但营利机会与安全使命的关系仍需管理;并非每个岗位都要求同等程度的使命认同,核心决策岗位与专业职能岗位的聘用标准应有所区别。
“Hustle, but don’t rush.” 积极推进,但不要仓促决定。——McCormick 对职业转型者的建议
“The biggest bottleneck … is a shortage of really amazing founders and leaders.” 最大的瓶颈,是出色创始人与领导者的短缺。——McCormick 对 Halcyon 战略的概括
“Without the technology … the agreements are impotent.” 没有可执行的技术,协议也会失去力量。——McCormick 谈验证与协调的关系