这集讲什么
TypeSafe 创始人 Diogo Almeida 认为,AI 要从好用的助手变成可信赖的后台自动化系统,关键不是继续堆算力或刷新榜单,而是选对任务、创造对应数据,并把「判断是否可靠」作为首要目标。
1-3要点
- 可靠性不是在线率:系统持续回应,与系统持续作出正确业务判断,是两项不同能力。
- 先选任务,再找数据:新目标所需的训练数据可能尚不存在,不能默认从企业数据湖中直接提取。
- 基准分数不等于部署表现:必须观察真实任务中的失败类型、错误代价和提示方式。
播出信息
- 日期:2026-11-15
- 时长:4420 秒(73 分 40 秒)
- 节目:20VC
- 主持人:Harry Stebbings
- 嘉宾:Diogo Almeida,TypeSafe 创始人、Jev 创建者
- 音频:收听本集
- YouTube:无
- Episode:节目页面
- 英文转写来源:
asr:transcribe-svc:job_b8bc306714dc
背景
这一集讨论的是 AI 能力与实际自动化之间的落差:模型可以解答高难度问题,企业却仍不敢把会计核算、重要业务判断等工作交给它持续运行。Diogo Almeida 将 Jev 定位为试图弥合这道落差的模型;他强调的不是服务可用率,而是模型在作出决定时的可靠性。
讨论横跨模型训练、数据供应、企业软件、开源模型安全与 AI 投资。理解本集的一个前提是区分人参与、负责复核的 AI 智能体(Agent)辅助工作,与人在场外、系统长期自行处理任务的自动化:两者对偶发错误的容忍度完全不同。
总结分析
Almeida 的主线不是「模型还不够聪明」,而是「聪明尚未以可部署的形态出现」。他用一个夸张但鲜明的比喻描述现状:模型大部分时候像爱因斯坦,少数时候却像憨豆先生;对聊天而言,少数失误或许可以由用户纠正,对会计或企业后台决策而言,却可能使整个自动化项目无法成立。因此,他提出一个优先顺序:先定义真正要完成的任务,再创造适合该任务的数据,之后才谈算力和算法。传统的用户偏好优化、可验证题目得分,以及公开基准,都未必衡量得出一个系统能否稳定作出正确判断。
这也解释了他为何同时批评模型竞赛与企业软件现状。模型厂商可能优化活跃用户、编程智能体体验或榜单名次;企业则在无法承担决策风险时,把 AI 接到旧软件旁边,让用户负责检查。Almeida 希望出现的是经过充分工程设计、能够在后台长期运行的自动化,而非更像人类同事的聊天界面。他认为既有软件公司因熟悉工作流而有优势,但优势不等于必须自行训练基础模型。
访谈的张力在于:这些判断不少仍是创始人对市场的预测,而非已验证的行业结论。他看好低成本且可靠的判断能力引发更大需求,却也担心 AI 支出由错估能力和错失恐惧驱动,发生需求回落;他质疑美国开放权重模型能否追上中国同行,却反对把安全问题简化为模型国别竞赛。其更可操作的提醒是:衡量 AI 项目时,少问榜单领先多少或每 token 便宜多少,多问错误由谁承担、系统能否持续运行,以及它究竟完成了多少原本做不了的工作。
节目结构 / 议程
- Jev 要弥合的能力与自动化落差 — 04:55 🎧
- 为什么「智能可靠性」卡住企业应用 — 06:04 🎧
- 比算力更优先的任务目标 — 07:40 🎧
- 数据从何而来:RLHF、RLVR 与合成数据 — 10:41 🎧
- AI 投资热潮与 Jev 上线后的误读 — 17:36 🎧
- 大厂复制、基准竞赛与真正的竞争 — 19:43 🎧
- 「杰文斯悖论」与软件形态的改变 — 25:01 🎧
- 企业应训练专属模型,还是深耕工作流 — 32:22 🎧
- 每 token 的智能增益与基准失真 — 40:05 🎧
- 中美开放权重模型与安全威胁模型 — 45:50 🎧
- 泡沫会怎样破裂:需求、成本与收入 — 49:41 🎧
- 融资、招聘与五年后的制度想象 — 55:53 🎧
分节详解
1) Jev 要弥合的能力与自动化落差 — 04:55 🎧
💬 他们说了什么:主持人请 Almeida 用一分钟介绍 TypeSafe 和 Jev。Almeida 没有从「专用模型」讲起,而是反问:AI 已能处理极难的数学问题,为何十年前的 SaaS 工作方式基本没变,完整岗位也很少被自动化?他认为 Jev 要解决的是从「有人在环中协助」走向「足以承担自动化」的落差。
💡 为什么重要:这为后续讨论设定了不同于聊天产品的评价标准。能生成有用答案,不等于能在无人逐条审核时持续完成业务任务。
⚡ 争议点:「软件基本没变」是概括性判断;软件开发流程和局部产品体验已经改变。真正有待检验的是,这些变化是否深入了关键业务逻辑。
2) 为什么「智能可靠性」卡住企业应用 — 06:04 🎧
💬 Almeida 特别区分了服务在线率、吞吐量与「智能可靠性」:问题不是模型能否回应,而是判断是否稳定。他以「约 95% 的时候是爱因斯坦,另 5% 是憨豆先生」形容能力起伏,并指出这种尾部失误足以让会计等自动化项目在预期收益上不成立。
💡 企业不能只看平均表现,还要看错误的频率、代价与可发现性。若一次错误需要大量人工追查,「自动化」可能只是把劳动转移到复核环节。
⚡ 95%/5% 是访谈中的说明性比喻,不是 Jev 或其他模型经过定义任务后得出的实测错误率;不同流程对失误的容忍度也不同。
3) 比算力更优先的任务目标 — 07:40 🎧
💬 Almeida 把 Sutton 的「苦涩教训」向前推进为自己的「更苦涩教训」:优先级依次是选对任务、数据、算力、算法。他认为,RLHF 倾向于让人满意,RLVR 倾向于在可验证任务上得高分;两者都不直接等于「软件在后台可靠地作判断」。他还指出,ChatGPT 很少在输出形式上突然失控,但仍可能在语句流畅时作出错误决定。
💡 如果训练目标只奖励「回答看起来好」或「题目做得对」,部署目标却是「高风险决定长期不出错」,继续投入算力也可能优化错方向。
⚡ 这是 Almeida 对训练范式的归纳,不意味着 RLHF、RLVR 必然无法改善实际可靠性;「选对任务」本身也需要可操作的定义和评估方法。
4) 数据从何而来:RLHF、RLVR 与合成数据 — 10:41 🎧
💬 谈到 GPT-4.5 时,Almeida 认为单纯扩大预训练算力的商业回报不像早期叙事所暗示的那样稳定;增加算力还需要合适的数据。他强调,新任务的数据往往不会预先躺在企业数据库里:早期 RLHF 的人类偏好比较数据,就需要先定义标注方式再生产。对于 RLVR,他尤其看重允许模型先进行内部推理、再给出答案的任务结构。合成数据在他看来是工具,不是万能原料;TypeSafe 也使用它,但重点是服务于可靠判断这一目标。
💡 企业拥有大量专有数据,不代表这些数据已具备训练价值。数据的格式、难度、反馈信号,以及能否推动当前模型改进,比「数据量很大」更关键。
⚡ 他以 GPT-4.5 的价格和表现推断算力扩张收益递减,也明确说自己不了解各实验室内部情况。关于 RLVR 成效主要来自任务结构而非可验证奖励,同样应视为他的技术判断。
5) AI 投资热潮与 Jev 上线后的误读 — 17:36 🎧
💬 Almeida 不愿 TypeSafe 被归为单纯大量招聘、购买 GPU、追逐收购机会的「新实验室」,认为其中不少投入低效;但他也承认强化学习投入确实让模型变聪明。谈到 Jev 上线,他说自己预料到可靠判断会有价值,却没预料到它会引起开发者以外人群的广泛讨论。主持人在开场介绍称,Jev 被约三分之一的《财富》500 强企业使用,并转述投资人所说的「七天内从零到 1 亿美元收入」;本段访谈并未展开这些数字的统计口径。
💡 一家模型公司的热度、实际使用与可持续收入,是三种不同信号。Almeida 主张让产品在真实任务中证明价值,而非把发布声量当成能力。
⚡ 他对「新实验室」的批评范围很广,未逐一比较不同团队的研究成果和成本;开场的商业数字也需要单独核实定义。
6) 大厂复制、基准竞赛与真正的竞争 — 19:43 🎧
💬 面对大厂可能复制 Jev 的提问,Almeida 回答:如果它们真正投入可靠性,竞争会变得有意思;但他认为目前不少产品更注重基准、速度、成本和发布叙事。他举例说,即使某些中国模型在榜单上接近 Anthropic,自己在实际使用中仍认为 Anthropic 模型更好。他也承认一次失败未必全是模型问题,提示词、语言细节与开发者教育都可能影响结果。
💡 模型是开发工具的一部分,而不是脱离使用方式的独立分数。好的评估需要把模型、提示方式和任务失败原因一起分析。
⚡ 「当前没有真正竞争」及对其他公司的动机判断,主要来自竞争方创始人的观察;公开基准有局限,不等于所有基准均毫无信息量。
7) 「杰文斯悖论」与软件形态的改变 — 25:01 🎧
💬 Almeida 预测,更便宜、更可靠的判断模型会触发强烈的「杰文斯悖论」:单次使用成本下降,反而使大量原本不值得自动化的任务开始消耗 AI,最终总用量上升。他希望 AI 像补齐蓝色 LED 那样,成为扩展软件可能性的关键组件。他还提出「软件研究者」这一角色:不只研究模型,也探索 AI 与软件结合后的新接口、新工作流。
💡 如果能力能进入后台业务逻辑,市场不只是现有聊天或编程智能体用量的替代,而可能来自从未使用过模型的流程。既有 SaaS 公司熟悉这些流程,因此未必会被新产品轻易取代。
⚡ 杰文斯式总需求增长需要实际新增项目创造足够价值,不能仅由 token 单价下降推导出来。「AI 如第四种基本逻辑门」是启发性类比,不是对计算机体系结构的字面描述。
8) 企业应训练专属模型,还是深耕工作流 — 32:22 🎧
💬 主持人提出企业应拥有自己的智能与专属模型。Almeida 则认为,把 AI 塑造成「同事」可能只是沿用旧工作方式;自动化可以像工业设备一样,从范围明确的环节入手。他不否认窄任务模型可能更便宜或更合适,但认为多数公司的独有能力更可能沉淀在模型周围的软件、工作流和工程实现中。谈到法律 AI 产品 Harvey 时,主持人明确反驳其只是「薄封装」的说法;Almeida 随后说明,自己的比较对象是未来可独立完成大型项目的深度自动化,而非否认现有垂直产品有价值。
💡 「拥有企业智能」未必等于「训练企业自己的基础模型」。流程设计、测试、数据接入和异常处理,也可以构成难以复制的能力。
⚡ Almeida 承认自己不了解 Harvey 当前产品的全部细节;将其现阶段定位与未来理想自动化相比,容易低估已经存在的领域工程和客户价值。
9) 每 token 的智能增益与基准失真 — 40:05 🎧
💬 主持人问「每 token 的原始智能」是否仍显著提升。Almeida 认为通用、预训练能力相对算力成本的进步已很小,但编程等特定任务因进入训练与使用分布,表现仍可显著改善;这不保证写作等其他能力同步提高。他进一步批评公开榜单的激励机制:没有时间亲自试用模型的人,最容易受单一分数影响。
💡 采购模型时,应区分通用能力进步与针对某类任务的改进。一个在编程榜单上明显领先的模型,不会因此自动成为所有企业判断任务的最佳选择。
⚡ 他称「所有基准都不好」过于绝对;问题可能是基准覆盖不足、被针对性优化,或与部署环境不匹配,而非测量本身没有意义。
10) 中美开放权重模型与安全威胁模型 — 45:50 🎧
💬 主持人担心中国开放权重模型广泛使用带来的安全风险。Almeida 说自己不会把未经额外处理的中国模型直接接入编程智能体,但主张先说清威胁模型:是直接使用模型、担心隐藏偏见,还是担心工具调用和数据外传?不同风险可分别通过再训练、偏见测量、防护规则,以及对工具调用进行安全分类来处理。对于美国开放权重模型能否追上中国同行,他猜测在「真实智能」上很难,除非竞争条件改变;同时强调差距是否影响实际用途仍是开放问题。
💡 安全决策不应只有「选哪个国家的模型」这一维度。部署方式、权限、外部工具访问和监测机制,都会改变风险。
⚡ 关于两国模型能力差距及其成因,是嘉宾的预测而非确定事实;「可以训练掉偏见」也不能直接推出隐藏后门或其他安全问题已被消除。
11) 泡沫会怎样破裂:需求、成本与收入 — 49:41 🎧
💬 Almeida 认为 AI 可能存在泡沫,风险未必来自算力供给,而可能来自需求:企业因错失恐惧高估模型能力,项目未交付预期价值后削减开支。他又说明,Jev 要做成大业务,不能只靠便宜;必须让降本后的新项目可靠地成功,使客户因看见回报而扩大预算。他甚至说,以「真正完成的后台自动化」为尺度,Jev 与其他领先模型目前都还只是约 0% 的起点。
💡 这把商业判断从 token 消耗转回可验证的业务成果。低价格使项目有机会启动,可靠交付才可能带来持续预算。
⚡ 「约 0%」是强调市场仍早期的修辞,不是自动化渗透率统计。需求会否骤降,也取决于已落地项目的实际回报,不能由投资热度单独判断。
12) 融资、招聘与五年后的制度想象 — 55:53 🎧
💬 谈融资时,Almeida 说 TypeSafe 更想寻找能与大公司竞争的盟友,而不是最大化估值或融资额;他称公司当时盈利、银行余额仍在增加。主持人提到 75 亿美元估值,并追问 7.5 亿美元 是否为起初融资目标;Almeida 回答条款曾变化,没有确认该数字是最终融资额。他尤其看重投资人的技术理念与战略讨论能力。招聘方面,他认为最难找的是能为新任务设计新数据的团队成员,而非单纯出价最高的人。快问快答中,他进一步看好 AI 与软件结合的新接口,认为机器人可靠性尚有不少前置难题;最后借委托代理问题,畅想 AI 将来帮助组织更准确地落实人的真实意图。
💡 他对融资、招聘和产品的说法相互呼应:若核心优势是定义任务与生产数据,就需要长期思考的伙伴,以及愿意亲手解决数据和软件问题的人。
⚡ 盈利、资金余额、估值与融资规模均缺少同一口径的财务披露;至于 AI 能否把法律或组织规则的「精神」转化成可执行判断,还涉及治理、问责与不同人对「真实意图」的分歧。
人物与机构
- Diogo Almeida:TypeSafe 创始人、Jev 创建者;本集主要观点的提出者。
- Harry Stebbings:20VC 主持人;多次追问专属模型价值、开放权重安全及 AI 泡沫。
- TypeSafe/Jev:嘉宾所在公司及其模型产品;访谈聚焦其可靠判断与后台自动化方向。
- OpenAI、Anthropic:访谈中用于讨论模型目标、实际体验及大厂竞争的前沿实验室。
- Sequoia、Andreessen Horowitz:TypeSafe 融资讨论中的投资机构。
- Harvey、Cognition、Intuit:用于讨论垂直软件、工作流知识与企业专属能力的案例。
金句
「你得到的可能有 95% 的时候是爱因斯坦,另外 5% 却是憨豆先生。」——Almeida,用以说明能力起伏,而非报告实测比例。🎧 06:04
「按重要性排序:做对任务,然后是数据、算力,最后才是算法。」——Almeida。🎧 12:22
「AI 显然很了不起,但软件本身还没有改变。」——Almeida。🎧 26:16
「我们需要的是盟友,去与世界上最大的公司竞争;我们不需要钱或估值本身。」——Almeida。🎧 57:38
洞见与延伸背景
把可靠性看成端到端属性。 一个任务能否无人值守,不仅取决于模型答对多少次,还取决于输入是否明确、工具权限是否受控、错误能否检测、失败后能否恢复。Almeida 虽强调模型训练目标,也承认提示方式和软件工程会影响结果。
「数据比算力重要」有一个隐藏前提。 这里的「数据」并非任意多的文本或企业记录,而是能针对既定任务提供适当难度与反馈的数据。因此,数据战略的第一步可能是设计任务和评估,而不是采购数据。
杰文斯悖论是待验证的商业假设。 Jev 若降低单次判断成本,可能打开更多使用场景;但总支出是否增长,仍要看这些场景能否节省时间、降低错误或创造新收入。
争议与需核实
- 商业规模口径:开场所称「约三分之一《财富》500 强使用」「七天内从零到 1 亿美元收入」,应核实使用、收入及时间窗口各自如何定义。
- 融资数字:主持人提及 75 亿美元估值,并以 7.5 亿美元发问;访谈没有给出足以确认最终融资额和条款的完整信息。
- 算力与数据的相对收益:GPT-4.5 的商业表现、训练规模及定价,不能单独证明所有训练路线均已遇到同一瓶颈。
- 竞争模型评价:对 Anthropic、中国模型、美国开放权重模型及其他决策模型的判断,包含嘉宾个人体验和竞争立场,需要在具体任务上独立测试。
- 安全判断:再训练与防护规则可以降低某些风险,但对隐藏后门、数据外传或复杂提示注入的有效性,须按部署环境验证。
- 市场预测:泡沫破裂、需求骤降与「超强杰文斯悖论」都是可能路径,尚非本集已经证实的结果。
行动建议
- 先挑一个具体流程:写清输入、允许的动作、必须升级给人的情形,以及一次错误的最大代价。
- 用真实失败案例建评估集:除正确率外,记录错误是否可发现、纠正要花多久、是否会重复发生。
- 先改工作流,再决定是否训练模型:比较提示、权限控制、工具调用校验和流程重设计的收益,再评估专属模型。
- 分别测算价格与价值:验证 token 降价是否真的使新项目可行,以及项目成功后预算是否会增长。
- 为开放权重部署写威胁模型:明确模型可访问的数据、可调用的工具和可能的外传路径,不以国别或榜单替代安全测试。
来源
- 20VC 本集音频
- 20VC Episode 页面
- 英文转写:
asr:transcribe-svc:job_b8bc306714dc;文中时间点依据所提供转写时间戳定位。