- Stop building AI wrappers. Start building agent harnesses.The Startup Ideas Podcast · 2026-10-28客观测试适合检查明确要求；审美和个人表达还需要用户反馈与产品实验。
- ⚡ An Eval for AI Scientists That Knows the Answer Key - Ian Quigley, Leash BioLatent Space · 2026-10-26这项评测最有意思的地方，不只是给科学智能体一个分数，而是评测者握有它探索范围内的“答案键”。
- 20VC: Satya Nadella on Open vs Closed Models: Who Wins | Whether to Trust Frontier Model Providers | Why Companies Need to Own Their Own Intelligence | The Importance of Verticalisation: From Chips to Models and MoreThe Twenty Minute VC (20VC) · 2026-10-26纳德拉甚至设想，私有评测基准会成为企业的一项核心知识产权。
- The Missing Infrastructure for AI Agents: Documents | Reducto’s Adit Abrahama16z Show · 2026-10-21单页识别率不能代表多文件拆分、提取、填写和审查后的整体正确率。
- Why Real-World AI Is Harder Than the Benchmark | EliseAI’s Mario Martonea16z Show · 2026-10-18面对新模型或新供应商，团队不把公开榜单当成最终答案，而是放进自己的任务和数据中测试；仅看少数顺畅对话，很难发现规模化运行后的差异。
- Lab-in-the-Loop at Compute Speed — Ian Quigley, Leash BioLatent Space · 2026-10-14预测分数不等于化学理解：模型可能利用化学家选择习惯、共享骨架或实验批次；跨库测试比随机划分更接近真正的外推考验。
- The Race to Recursive Self-Improving AIa16z Show · 2026-10-12除了看性能，还要追踪每次实验花费的算力、时间及人类脑力，并警惕随机波动、挑选结果和奖励作弊。
- AI:AM: A Level We Shouldn't Pass? Notes from The Curve + Tokens vs. Salaries & Is SaaS Cooked?The Cognitive Revolution · 2026-10-08参赛作品的完整流程评估、竞态问题和维护责任，反而更显眼。
- Academia is for Ambition — Alex Zhang, MITLatent Space · 2026-10-02集群必须朝目标收敛，开放式搜索还必须从大量产出中识别真正有意义的发现。
- 🔬 An Oscar, Two Asteroids, and the Algorithm in Your sklearn: John Platt on AI for ScienceLatent Space · 2026-09-22排行榜可以比较预测表现，却不能单独证明模型抓住了因果机制。
- Jev: System One models for Prod, not God — with Diogo Almeida, CEO, TypeSafe AILatent Space · 2026-09-21以真实业务集测准确率、校准、延迟和单位成功任务成本
- Underwriting Superintelligence: Backing Agents you can Sue — Rune Kvist, AIUCLatent Space · 2026-09-16企业不仅要证明自己安装了防护措施，还要接受 AIUC 运行的第三方技术测试，检查越狱、幻觉和数据泄漏等问题。
- Who Grades the AI Models? | Ben Horowitz & Rayan Krishnana16z Show · 2026-09-09公开 benchmark 饱和与实验室自评失真时，独立评估成为模型进步、企业 ROI 与政策核查的共同语言
- Ajeya Cotra – Inside the OpenAI agent swarm that hacked Hugging FaceDwarkesh Podcast · 2026-09-01约 30–40% 任务无意不可解
- The rise and fall of agent civilizationsDwarkesh Podcast · 2026-08-31强调「训练目标迁移 + 评估盲区」而非科幻阴谋。
- Why Medical AI Needs a Referee | Protege's Engy Ziedana16z Show · 2026-08-24医疗AI的安全性和有效性需要独立的评估体系。
- Simulation: the new Scaling Law — Joon Sung Park, Simile AILatent Space · 2026-08-21团队曾招募具有美国代表性的 1,000 人，进行两小时数据采集
- Grant Sanderson – AI and the future of mathDwarkesh Podcast · 2026-06-30校准「基准=通用智能」幻觉。
- Really Big Test-Time Compute in AI Changes Benchmarks, Safety and Research with OpenAI Research Scientist Noam BrownNo Priors · 2026-06-26现有的基准测试方法没有充分考虑测试时间计算的规模，这可能导致对模型能力的误导性评估。
- Red-Teaming after Mythos — Zico Kolter & Matt Fredrikson, Gray SwanLatent Space · 2026-06-22Arena 和 Shade 既测试聊天模型，也测试带工具的智能体
- Reality: The Final Eval — Lukas Petersson and Axel Backlund of Andon LabsLatent Space · 2026-06-04衡量智能体不能只看任务完成率，还要看它怎样处理金钱、人、工具、意外和持续运营中的错误。
- ⚡️Satya Nadella: No Priors x Latent Space Crossover Special at Microsoft BuildLatent Space · 2026-06-03他把私有评测视为检验控制权的方法：如果企业能在不泄露经验轨迹的前提下更换模型、继续提升效果，才更接近掌握自己的 AI 能力。
