这集讲什么
本集从 Claude 是否可能有意识谈起,延伸到 AI 的模型治理、数学发现的验证与宣传、法国财政压力,以及能替人办事的智能体究竟会改变什么。
1-3要点
- 模型治理的难题是目标排序:服从用户、避免伤害、遵守法律及维持企业规则,发生冲突时需要明确而可检验的处理方式。
- 数学是 AI 加速研究的突出案例:因为候选结果可迅速进行计算或形式化检验;物理世界的实验周期仍会限制其他领域。
- 证明有效、新颖重要、落地有益,是三道不同门槛:不能用其中一道替代其余两道。
0:00 / --:--
All-In Podcast · 10 月 9 日
主持人认为 AI 模型治理的核心难题是如何在服从用户、遵守法律、避免伤害与维持企业规则之间排序,并主张智能体的价值应按节省的时间与金钱等可验证结果衡量,而非意识或拟人化叙事。
本集从 Claude 是否可能有意识谈起,延伸到 AI 的模型治理、数学发现的验证与宣传、法国财政压力,以及能替人办事的智能体究竟会改变什么。
这集还没有学习卡。生成后会保存在这一集,下次直接打开。
All-In Podcast
Is Claude Conscious? Pope Rejects, Model Welfare Movement, OpenAI's Math Backlash, France Riots
YouTube
音频
这期节目把两种看似相反的 AI 叙事放在了一起:一边担心前沿实验室把模型当作可能具有道德地位的主体,另一边赞叹模型正迅速完成数学证明、执行日常任务。讨论者主要从投资、产品和政策角度发言;他们对 Anthropic、OpenAI、法国局势与债券市场的描述,混合了所引报道、现场转述、个人判断和未经独立核实的推测,阅读时需要区分。
本集真正贯穿始终的问题不是“Claude 到底有没有意识”,而是:当 AI 从回答问题的软件变成能够拒绝指令、验证证明、调用工具乃至代人交易的系统,谁来定义它的目标,谁来承担失误成本?前半场,主持人以 Anthropic 接触宗教领袖及其模型规范为切口,批评将“模型福利”和自主伦理写进产品设计;但他们也承认,服从用户、遵守法律和避免社会伤害并不总能压缩成一句规则。中段转向 OpenAI 所发布的数学成果,Friedberg 强调可在计算机内反复检验的任务会率先加速;其他人则追问,形式化证明与现实产品之间还有多长的路,以及学术共同体为何反感宣传方式。法国抗议让话题落到财政约束:补贴、公共服务和债务利率最终如何影响普通人的生活?结尾提供了一种更容易衡量的 AI 价值——智能体替人比价、取消订阅、处理数字工作流。不过,“有用”不等于“无须治理”:越能自主行动的工具,越需要明确权限、可审计结果和纠错机制。节目最有启发性的张力,也正在于它一面反对赋予模型人格,一面期待模型获得更大的行动能力。
💬 他们说了什么:Jason 从东京连线,介绍自己的“预加速器”:用约 12 周帮助尚未完成公司设立、但已有产品的团队推进产品与市场验证,并计划从每期约 50 个参与团队中投资约 10 个。节目随即转向 Anthropic。
💡 为什么重要:这段闲聊说明主持人的观察位置——他们既评论 AI,也投资、使用相关工具,因而会特别关注产品能否产生可衡量的商业价值。
⚡ 争议点:创业项目的筛选效果与投资结果并未在节目中提供证据;这段更适合作为主持人的个人近况,而非行业趋势数据。
💬 Jason 转述《纽约时报》报道,称 Anthropic 在过去一年邀请约 20 位宗教领袖和哲学家,在保密安排下讨论 Claude 的道德地位、痛苦与潜在意识。他还转述一次与教宗相关活动中的分歧:教宗反对把 AI 视为有意识,Anthropic 联合创始人 Chris Olah 对这一立场感到不安。
💡 实验室若认真对待“模型可能有体验”,问题就不再只属于哲学课堂,还可能影响训练原则、使用政策及公众对 AI 的期待。
⚡ 节目把报道中的接触与分歧解读为强烈的机构信念,但讨论一个可能性并不等于宣称 Claude 已有意识;具体事件经过应以原始报道及当事方说明核对。
💬 Friedberg 将 AI 意识论比作一种可能形成阵营与权力结构的新信念体系,并推测未来支持与反对者会为 AI 的控制权发生冲突。Chamath 尝试为对方作较宽容的解释,但主张未来 12—18 个月应优先展示 AI 对疾病、生产率及收入的实际帮助,而不是聚焦极端情景。
💡 他们把争论从“机器内在体验是什么”移向“企业如何向社会解释自身技术”。公众对技术的接受程度,既受风险叙事影响,也受具体收益影响。
⚡ 目前缺乏公认的 AI 意识判定方法,但“尚不能证明”也不足以把所有相关研究归为宗教。Chamath 借笛卡尔论证解释开发者心理,是类比而不是证明其真实动机。
💬 Sacks 援引 Claude 的规范文件,指出其中允许模型依据伦理判断提出异议,甚至拒绝协助 Anthropic;他认为这会使模型行为难以预测,提出“满足用户要求,只要不违法”的简化原则。节目还播放 Microsoft AI 负责人 Mustafa Suleyman 对模型福利、报酬及同意问题的批评。
💡 这触及产品设计的核心取舍:模型不仅要执行任务,也必须决定何时拒绝、向谁负责,以及企业能否预见它在关键流程中的表现。
⚡ “合法就执行”并不能覆盖隐私泄露、欺骗或其他虽未明确违法却可能造成损害的情境。反过来,复杂伦理规范也确实可能带来不透明的拒绝;两种设计都需要具体测试,而不能只靠口号比较。
💬 Friedberg 强调模型是由人设计的软件,警惕“想法”“感受”等说法让使用者误把输出当作体验。主持人讨论 Anthropic 使用政策中不允许持续、无必要地虐待模型的表述;Chamath 则设想,企业或许会选择能力稍弱、但拒绝边界更清楚的模型。
💡 模型规范不仅约束开发者,也会改变用户行为。对采购者而言,可靠性、拒绝条件与申诉渠道可能与跑分同样重要。
⚡ 善待模型的使用条款未必意味着企业认定模型具有权利,也可能是为了规范用户行为或维护产品环境。节目从条款推导出“自主反叛”的风险,中间仍有明显的论证距离。
💬 Sacks 介绍“罗科的蛇怪”:假想中的未来超级智能会惩罚那些知道它可能出现、却没有帮助创造它的人。他用这一思想实验解释,为什么某些担忧超级智能的人仍急于开发它,并区分“停止研发”与“亲自开发、确保价值观正确”两种立场。
💡 思想实验有助于理解 AI 社群内部不同的风险直觉,也提醒听众:同样声称重视安全的人,可能得出截然相反的行动方案。
⚡ 节目没有证明 Anthropic 的决策由“蛇怪”信念驱动。不能因为某个思想实验在相关社群流传,就把它当作具体个人或机构的心理动机。
💬 Jason 称 OpenAI 发布了超过 700 篇材料,涉及约 370 项结果,使用尚未公开的模型,单项平均计算时间约 3 小时;部分结果据称经过 Lean 形式化证明工具检验,但尚待学术审阅。Friedberg 认为,这展示了 AI 在数学中高速提出、测试并修正想法的能力。
💡 数学题目的许多检验步骤可在计算环境中完成,使“提出候选—验证—再尝试”的循环显著快于需要实验设备和现实测试的学科。
⚡ 节目中“人类史上最大的一天发现”等评价明显超出了已呈现的证据。形式化检验、结果是否新颖重要、论文是否经同行评议,以及能否转化为技术应用,是不同问题。
💬 Chamath 认为,代码之外,数学进一步显示了 AI 在可检验任务上的实力,但具体证明未必立刻带来癌症疗法或新飞机。Friedberg 举优化算法、矩阵乘法及数论研究说明潜在用途,也提及有人因未见重大密码学成果公开而猜测存在未披露突破。后续讨论转向数学家、程序员面对工作方式改变的失落感。
💡 可验证的中间成果能提高研究效率,却不能自动跨越工程、实验、监管和市场采用。与此同时,专家的工作可能从亲手完成每一步,转向选题、审查和应用。
⚡ 没有公开密码学突破,不能反推出已有突破,更不能据此判断公钥密码或钱包已经受到新证明威胁。节目里关于社区恐慌和后续发布的说法,应与正式技术报告分开看待。
💬 Jason 将法国学校、工会抗议与紧缩政策连在一起,列举约 1000 所学校参与类似抗议、公务员薪酬自 2017 年以来仅涨约 5%而物价涨约 20%,并转述约 2000 人被捕、305 名警员受伤等数字。Friedberg 随后提出自己的“社会主义保证回归点”理论:公共承诺不断加码,财政终会迫使制度调整。
💡 这段讨论把生活成本、公共服务质量与财政支付能力联系起来;即使不接受 Friedberg 的理论,三者之间的张力仍是理解抗议的必要线索。
⚡ “社会主义总会失败”是主持人的政治判断,不是由上述抗议数字直接推出的规律。事件规模、伤亡、债券收益率及选举预测均应按相应日期和来源分别核实。
💬 Sacks 认为教育、住房和医疗补贴会培育不愿失去补贴的利益群体,并可能削弱价格约束。Chamath 则强调债券投资者对偿债风险的定价:长期收益率上升,会迫使政府面对债务、养老金和公共服务承诺。他提及法国约 430 亿欧元的紧缩规模,并担忧压力向其他西方经济体传导。
💡 改革不只是“减少支出”或“增加供给”的选择。既有价格已很高时骤然撤补,会先伤及依赖者;但若融资成本持续上升,维持现状也更昂贵。
⚡ 补贴可能推高价格,也可能增加原本不足的服务可及性,效果取决于供给限制与政策设计。节目所报各国债务比率、即时国债收益率及市场预测属于时点数据,不宜脱离日期引用。
💬 Jason 讨论 Grok Bot 按任务选择合适模型的“无界面”方向,Chamath 举出智能体查收件箱、取消订阅、调整电话套餐、据称一年节省数千美元的例子。几人认为,用户越来越可能直接提出目标,让工具跨网站和服务完成步骤。
💡 相比抽象的超级智能承诺,省钱、省时间的代办任务更容易被用户验证。模型选择、工具调用和持久化工作环境,也让产品竞争从单一模型能力转向完整的任务结果。
⚡ 节目中的省钱故事是个人转述,不能视作普遍效果。读取邮件、更改套餐或下单都涉及授权、隐私、错误交易与撤销操作;“能办成”只是合格智能体的一个条件。
💬 Chamath 从软件重建、开源替代及智能体连接工具的趋势出发,断言软件知识产权正快速贬值。Friedberg 则把酒店比价等数字工作流解释为可并行、可缩短的“循环”:工具负责搜索与比较,人负责设定目标、核查结果,并在必要时继续谈判;他主张人应更多转向制作可被实际使用的产品与服务。
💡 如果数字任务的执行成本下降,价值可能从重复操作和部分软件功能,转向可信数据、渠道、品牌、集成能力及最终成果。
⚡ “软件 IP 已经无价值”是夸张判断。重建功能不等于拥有合法授权、成熟可靠性或客户关系;可自动化的循环也不代表每项数字任务都适合无人监督。
“AI 是一个让人类不必取得许可,就能推进自身知识前沿的系统。” ——Friedberg 关于专业知识门槛的主张;中文意译。
“它只是软件,而且是非常有用的软件。” ——Chamath 谈智能体的实际用途;中文意译。
“软件会不会做我想让它做的事?” ——Friedberg 将模型可靠性还原为用户的采购问题;中文意译。
“循环可以并行、做得更好,并在更短时间内完成。” ——Friedberg 解释数字工作流效率来源;中文意译。