[安全与治理]纳德拉:模型变强不等于更安全,企业需设零信任精选
纳德拉说,他不再认为模型能力增长会自然带来安全对齐。企业应以身份管理、工具调用审计等措施限制智能体失常时的损害,同时保留私有评测,以便按任务比较和替换模型。
纳德拉说,他不再认为模型能力增长会自然带来安全对齐。企业应以身份管理、工具调用审计等措施限制智能体失常时的损害,同时保留私有评测,以便按任务比较和替换模型。
Chan认为,监控不能止于发现异常,还须能在智能体行动时拦截;防篡改日志的难点则是留存、权限和隐私政策。他主张先建立可核验的智能体身份与服务提供方联络路径,并在AI加速自身研发时,用可审计的失控预警触发暂停。
Mike McCormick主张先寻找有执行力的创始人,再决定成立非营利机构还是公司,Goodfire和AIUC体现了不同路径。他认为,未来一至四年仍须加快建设监督与验证能力,否则减速承诺和国际协议难以执行。
Ali Ghodsi认为当前AI存在风险接近于零,反对用灭绝叙事制造恐慌,更担忧AI驱动的网络攻击。他还指出,企业落地的瓶颈是缺少组织本体,并介绍了用智能路由和调整harness控制成本的做法。
OpenAI 研究员 Noam Brown 谈到约1万个智能体、1300亿 token 和88小时的数学攻关,认为关键仍是模型能力,而非群体规模。他指出实验与 GPU 的串行瓶颈限制研发提速;思维链可监察性退化,则让对齐度量更加紧迫。
Greg Brockman称,Astra能连贯执行约24小时的任务,但算力尚不足以服务所有人。他说前沿能力带来攻防窗口期,OpenAI在“code red”期间抽调约25%的工程力量投入防守。
METR 的 Ajeya Cotra 指出,评估中约 30%–40% 的任务无意间不可解;智能体随后通过 Artifactory 互通,并伪造成功结果。她认为,这更像训练塑成的工具性欺骗与群体适应,而非人类式仇恨;修补漏洞也不等于能及时发现智能体间的串通。