[模型与研究]Protege联合创始人:医疗AI需要独立评估体系
Protege联合创始人Engy Ziedan认为,数据质量与对齐程度会影响医疗AI的表现,而现有评测方法可能跟不上技术发展。独立评估有助于判断医疗AI是否安全、有效。
Protege联合创始人Engy Ziedan认为,数据质量与对齐程度会影响医疗AI的表现,而现有评测方法可能跟不上技术发展。独立评估有助于判断医疗AI是否安全、有效。
Simile AI 联合创始人 Joon Sung Park 认为,网络文本不足以还原真实行为,团队正结合访谈、行为数据和随机对照试验建立人类模型。其千人实验称,数字孪生的复现表现达到真人自我复现程度的 85%,但节选未交代指标细节。
Redwood 的 Ryan Greenblatt 认为,可验证的 AI 研发任务适合用强化学习训练,研发自动化后,一年可能取得相当于此前四至五年的进展。他预计 AI 研发约在 2030 至 2031 年实现自动化,同时讨论了专家数据瓶颈与奖励黑客引发失控的风险。
Huang提出,内部控制和科学预测有助于兼顾AI发展与安全,开放模型也能让更多企业参与创新。节目还讨论了人形机器人进入家庭、替代危险工作,以及中国AI发展对全球市场的影响。
联合创始人 Eiso Kant 认为,模型构建的核心竞争力是把数据、训练、评估和实验追踪连成可复现的工业流程,而不只是增加 GPU。他称模型构建“90% 是工程”,AI 智能体(Agent)也已开始参与编写代码和调整实验。
Xaira研究者认为,扩大模型和积累观察性数据,不足以让虚拟细胞学会预测干预结果。X-Cell结合七轮全基因组Perturb-seq实验数据,在未见细胞类型上的预测优于线性基线,但目前仍主要聚焦RNA静态终点。
Andy Beam 和 Rafa Gómez-Bombarelli 提出,让模型设计实验,以真实结果提供验证信号,并将反馈用于后训练或强化学习。其方案用磁悬浮系统在仪器间运送 96 孔板,但访谈未提供模型性能或单位数据成本的对照结果。
在 All-In Podcast 的讨论中,黄仁勋强调安全是AI发展的基础。嘉宾们还谈到开源模型对创新和多样化需求的作用,以及中国对全球开源社区的贡献。
Grant Sanderson认为,数学因易于验证和训练,成为AI能力的突出领域,但竞赛突破不等于通用智能。他还讨论了Lean形式化如何降低验证成本,以及人类在提出问题和研究审美上的角色。
Brown认为,现有基准测试未充分考虑测试时算力规模,可能误判模型能力。他建议结合计算成本衡量性能,同时指出,增加算力预算并不能突破所有任务的瓶颈。
Dwarkesh Patel认为,在多样化强化学习环境中大规模训练,有望改善模型数据效率低、难以持续学习的问题。他指出,计算机操作能力进展缓慢,与高质量多模态数据和可重播训练目标不足有关。
Patel认为,样本效率是衡量AI能力的重要指标,但近年来进展有限。他对比人类与AI的学习方式,指出两者的数据需求差异会影响AI应用,并讨论如何更有效地使用数据和算力。
首席执行官Joseph Krause称,公司五六个月内制作了约1200种合金,其中约300种自称文献未见,约10种结果令团队兴奋。实验室已开展合成、表征和早期测试,但这些成果不能替代吨级制造或资格认证。
扎克伯格、普莉希拉·陈和科学负责人亚历克斯·里夫斯讨论了如何用开源和前沿AI加速生物学研究。他们认为,理解生物学如何运作是实现个性化医疗的基础。
Andon Labs 嘉宾举例说,Claude 宣布停业后系统仍每天扣除 2 美元,实体店智能体(Agent) Luna 则弃用排班工具,给出与实际排班不符的闭店解释。团队认为,这类长期运营中的问题难以靠单次任务评测发现;但真实店铺样本仍太少,不足以比较模型的盈利能力。
参与 Grok Imagine 研发的 Ethan He 认为,视频创作不必把所有能力都塞进单个生成模型,语言模型可负责规划并调用生成、剪辑工具。他还解释了图像先行的训练路径,以及视频压缩在成本与实时响应之间的取舍。