这集讲什么
d-Matrix 押注的不是“全面替代 GPU”，而是用贴近计算单元的内存，为对响应速度敏感的 AI 推理提供另一种选择；真正的考验则是把芯片变成客户能够部署、调用和持续使用的系统。
1-3要点
- 推理不是单一工作负载。 高吞吐批处理与低延迟交互优化目标不同，比较硬件前必须先说明任务、批量和服务要求。
- d-Matrix 的主要差异化假设是减少数据搬运。 SRAM 存内计算与计划中的堆叠 DRAM，均围绕“让内存更接近计算”展开。
- 准确性是架构优势的前提。 客户对早期模拟功能及结果精度的反馈，促使公司进一步数字化计算底座。
播出信息
- 日期：2026-11-02
- 时长：2896 秒（48 分 16 秒）
- 节目：Startup Project
- 主持人：Nataraj
- 嘉宾：Sid Sheth，d-Matrix 联合创始人兼 CEO
- 音频：收听
- YouTube：观看
- Episode：节目页面
背景
训练模型需要大量计算，但模型投入使用后，还要为每一次搜索、问答或编程请求执行推理。两者面对的任务不同：有的服务希望尽量多处理请求，有的服务则更在意单次交互能否迅速得到结果。本集讨论的正是后一类需求，以及专用推理硬件能否在 GPU 已建立的生态之外找到位置。
Sid Sheth 曾在英特尔及数据中心连接芯片公司 Inphi 工作，拥有长期半导体与系统经验。他与联合创始人在 2019 年创立 d-Matrix，早于 ChatGPT 带来的生成式 AI 热潮。节目从创业判断谈起，延伸到存内计算、产品形态、英伟达合作，以及芯片公司为何必须理解整座机柜的交付问题。
总结分析
这期访谈最有价值的地方，是把“GPU 不是每种 AI 工作负载的答案”拆成了几个有条件的判断。Sid 并未否认 GPU 的优势：当任务可以批量处理、目标是提高吞吐时，GPU 与高带宽内存仍是强劲的组合。d-Matrix 选择的切口则是低延迟交互，希望通过让内存靠近计算单元，减少数据搬运带来的时间与能耗。这个定位也解释了它为什么从 SRAM 存内计算起步，又计划在下一代产品中堆叠定制 DRAM：模型、上下文和用户状态增长后，仅凭第一代方案的容量已难以满足需求。
但技术路线只是故事的一半。公司早期必须先证明计算结果的准确性，随后又按客户反馈将仍含模拟功能的设计数字化；做出芯片后，客户要求的却是可直接部署的机柜、互连和软件入口。因此，收购、与系统伙伴协作，以及接入英伟达已有的液冷机柜生态，都服务于同一个目标：缩短从硬件性能到真实应用的距离。访谈中的性能方向、容量增幅和市场规模判断值得关注，却主要来自公司负责人的陈述。最终能否成立，还取决于具体模型下的延迟、成本、能耗、软件适配和大规模部署表现。
节目结构 / 议程
- 创业起点：提前押注云端推理 — 00:00 🎧 · ▶️
- 从直觉到需求信号：为什么看上 Transformer — 04:00 🎧 · ▶️
- 第一颗芯片：验证 SRAM 存内计算 — 08:10 🎧 · ▶️
- 产品发现与流片：半导体创业如何起步 — 12:30 🎧 · ▶️
- 从计算底座走向可部署机柜 — 17:10 🎧 · ▶️
- GPU 与专用推理硬件：吞吐还是交互 — 23:10 🎧 · ▶️
- 客户与英伟达：竞争之外的共同开发 — 29:10 🎧 · ▶️
- 堆叠 DRAM、收购与软件入口 — 34:40 🎧 · ▶️
- 投资热潮与长期目标 — 41:00 🎧 · ▶️
分节详解
1) 创业起点：提前押注云端推理 — 00:00 🎧 · ▶️
💬 他们说了什么：Sid 回顾自己逾 30 年的半导体与系统经历，以及在 Inphi 建设数据中心连接芯片业务的背景。2018 至 2019 年，他与联合创始人花了约一年研究市场，认为行业虽聚焦更大模型的训练，未来更广泛的机会可能来自模型投入使用后的推理。当时已有公司瞄准摄像头、无人机等边缘场景，他们选择云和数据中心。
💡 为什么重要：这不是在 ChatGPT 出现后才寻找硬件题目。公司成立于 2019 年，ChatGPT 于 2022 年发布；其创业判断需要承受“方向可能正确，但市场何时成熟并不确定”的风险。
⚡ 争议点：Sid 用人“先学习、后长期应用知识”类比训练与推理，便于解释其直觉，却不能据此计算两者的市场规模。推理需求增长，也不自动意味着专用芯片能取得足够份额。
2) 从直觉到需求信号：为什么看上 Transformer — 04:00 🎧 · ▶️
💬 d-Matrix 起初并非只看语言模型，也研究过推荐系统、计算机视觉、循环神经网络及传统机器学习。Sid 称，2020 年前后，他们从 Google、Microsoft 等处观察到 Transformer 在搜索和内部产品中的采用信号，又注意到 GPT-3 所展示的能力，于是把方向进一步收敛到这类工作负载。
💡 硬件研发周期长，不能等最终应用完全定型后才开始设计；但过早锁定某一个模型也很危险。他描述的是先判断计算瓶颈，再借客户、研究与产品动向逐步确定目标市场的过程。
⚡ 这些早期客户信号由嘉宾回忆提供，并非节目中展示的采用数据。Transformer 的增长可以支持研发方向，却不足以单独证明某一种芯片架构具有长期优势。
3) 第一颗芯片：验证 SRAM 存内计算 — 08:10 🎧 · ▶️
💬 公司称在成立约 12 个月内完成首颗芯片流片，2021 年初拿到硅片。首个演示使用 MNIST 这类小型字符分类任务，重点不是展示大型模型性能，而是检验以常见的 SRAM 实现存内计算时，准确性和可预测性是否能接近数字计算引擎。
💡 其核心假设是“内存墙”：模型需要频繁取用数据，计算与内存若相距较远，搬运数据会耗费时间和能量。先用小任务验证计算底座的可靠性，比直接宣称复杂模型的速度收益更符合芯片研发顺序。
⚡ MNIST 演示只能回答有限的技术问题，不能代表真实语言模型的延迟、吞吐或部署成本。Sid 也承认，早期路线仍有模拟功能及准确性取舍，客户并未因此立即接受最终方案。
4) 产品发现与流片：半导体创业如何起步 — 12:30 🎧 · ▶️
💬 Sid 把产品发现描述为从客户、产业专家、供应链、投资人和公开研究中收集并筛选需求信号。Microsoft 在与团队交流近一年后，与 Playground Global 共同领投其 A 轮。他还回忆，早期团队约 10 人、账上约 300 万美元，需要同时招聘、融资、做市场研究，并与 EDA、IP、台积电及测试供应链伙伴签约；这一切还碰上了 2020 年疫情。
💡 芯片初创公司的“做出第一版产品”并不只指画出电路。设计工具、授权模块、制造与测试都必须衔接；团队此前多次做芯片的经验和既有行业关系，成为快速流片的条件。
⚡ Microsoft 投资可以视作方向获得认可，但投资不是采购承诺，更不是产品市场契合的最终证明。首颗芯片的速度也不宜脱离团队经验，直接当作其他初创公司的可复制基准。
5) 从计算底座走向可部署机柜 — 17:10 🎧 · ▶️
💬 在首颗芯片后，团队又用约一年半开发第二颗芯片，将原有架构中仍属模拟的功能数字化。Sid 说，公司用了最初 3 至 4 年打磨计算底座、数值方法、芯粒组合与软件，直到 2024 年形成首款产品。随后，他们发现客户需要的不只是芯片或卡，而是包含服务器、机柜和互连的解决方案，于是在 2024 至 2026 年转向机柜级交付。
💡 数据中心客户最终购买的是能够装入设施、接入网络、运行模型并接受运维的算力。若供应商只交付一张卡，集成工作和部署风险就留给客户；当采购规模扩大，这种缺口会越发明显。
⚡ Sid 以行业从风冷卡式产品转向液冷机柜说明转型的紧迫性，但不同数据中心的条件并不相同。向机柜扩张也会增加供应链、软件支持和交付责任，不只是把更多芯片装进同一个箱体。
6) GPU 与专用推理硬件：吞吐还是交互 — 23:10 🎧 · ▶️
💬 Sid 明确将 d-Matrix 定位为只做推理、不做训练。按他的划分，GPU 搭配 HBM 擅长批量处理和高吞吐；d-Matrix 则使用 SRAM 存内计算，瞄准对单次响应速度敏感的低延迟、超低延迟任务。他强调公司方案不使用 HBM 或 CoWoS，下一代则计划把定制 DRAM 堆叠在计算单元之上，以增加近端内存容量。
💡 比较推理硬件时，必须同时问“单位时间处理多少工作”和“单个请求等多久”。增大批量可能改善资源利用率，却不一定适合每次交互都要求迅速返回的应用。这也解释了为什么不同硬件可以服务同一客户的不同任务。
⚡ “吞吐与交互相互牵制”是有用的设计框架，不等于 GPU 无法提供低延迟，也不等于专用硬件无需考虑吞吐。真实选择仍取决于模型、请求形态、批量大小、软件调度及成本，节目没有提供统一条件下的独立对照测试。
7) 客户与英伟达：竞争之外的共同开发 — 29:10 🎧 · ▶️
💬 d-Matrix 将自己描述为销售硬件的基础设施公司，希望为推理云、超大规模云厂商、前沿模型公司及其他重视延迟的客户提供 GPU 集群的补充。Sid 特别提到智能体式编程：如果 AI 智能体（Agent）频繁调用需要推理的模型，单次等待时间会影响使用体验。他还称，d-Matrix 与英伟达就下一代 Raptor 产品开展技术及工程合作，计划让自身 XPU 子系统接入对方已有的机柜级基础设施。
💡 在这里，“与 GPU 竞争”和“与英伟达合作”并不矛盾：前者涉及部分推理任务如何分配，后者涉及如何借助成熟的机柜、冷却和部署生态将产品送到客户手中。对小公司而言，缩短集成路径可能与芯片本身的性能同样关键。
⚡ 合作范围、实际可用配置，以及客户会否在同一部署中混用两种算力，仍需以公开技术资料和交付情况核实。Sid 提到大型客户的吉瓦级建设需求，不能直接推导为 d-Matrix 已取得相应订单。
8) 堆叠 DRAM、收购与软件入口 — 34:40 🎧 · ▶️
💬 Sid 说，模型、上下文长度、KV 缓存以及多个用户的需求都在推高容量要求，而 SRAM 容量扩展不足以满足下一阶段目标。下一代方案拟在 XPU 上堆叠定制 DRAM；他预计机柜内存容量可提高约 20 至 30 倍，从而让一座机柜支持前沿模型。为补齐交付能力，公司在受访年份收购机柜级系统公司 GigaIO，又收购一家从事 API 端点编排的软件公司，后者名称未在访谈中给出。
💡 更多近端内存不仅关系到模型能否放入系统，也可能减少跨设备取用数据的需要。两笔收购对应两端缺口：一端是把计算单元组成可部署机柜，另一端是让开发者通过软件入口实际试用模型。
⚡ 20 至 30 倍是嘉宾提出的容量增幅，不等于速度或成本会按同样比例改善；“一座机柜支持前沿模型”也依赖模型大小、精度、上下文和并发设定。第二笔收购的公司名称及产品范围，需要另找资料确认。
9) 投资热潮与长期目标 — 41:00 🎧 · ▶️
💬 面对 AI 芯片投资热，Sid 认为推理需求与算力供给存在巨大落差，市场可能容纳多个赢家。但他没有给出可验证的市场规模上限，而是以“智能需求似乎没有明显上限”说明其乐观判断。谈及公司未来，他提出长期愿景：希望至少 50% 的 AI 决策会触及 d-Matrix 的基础设施，并为此在未来 3 年、5 年乃至 10 年部署大量算力。
💡 访谈最后把公司的目标从“某颗芯片更快”提高到“成为被广泛使用的计算基础设施”。这要求制造、系统交付、开发者采用和持续运营同时跟上，而非只赢得一次基准测试。
⚡ “50% 的 AI 决策”是愿景，不是现有市场份额；“AI 决策”的统计口径也未定义。市场需求很大可能吸引资本，却不能保证每一种新架构都能跨过量产、软件适配和商业回报门槛。
人物与机构
- Sid Sheth：d-Matrix 联合创始人兼 CEO；本集所有公司规划与性能方向陈述的主要来源。
- Nataraj：Startup Project 主持人；围绕创业起点、芯片制造、架构取舍和商业化路径提问。
- d-Matrix：以云端及数据中心 AI 推理为重点的计算硬件公司。
- Inphi、Marvell：Sid 创业前的行业背景；访谈提及 Inphi 后来被 Marvell 收购。
- Microsoft、Playground Global：Sid 称两者共同领投 d-Matrix 的 A 轮。
- 英伟达：GPU 与机柜级基础设施供应商；按 Sid 的说法，也是 d-Matrix 下一代产品的技术与工程合作方。
- GigaIO、Supermicro：分别涉及 d-Matrix 的机柜级能力收购，以及首代产品的机柜合作。
金句
以下保留嘉宾的英文原意；中文为意译，并非逐字中文发言。
“Product-market fit … is more of an art than a science.” 意译：寻找产品市场契合，更像从大量信号中辨认模式，而不是照着一套公式操作。
“The chip is really not the product anymore.” 意译：对大规模部署客户而言，芯片本身已经不是完整产品。
“We are not a throughput play.” 意译：d-Matrix 的重点不是争夺最高吞吐，而是服务更看重交互速度的任务。
洞见与延伸背景
把性能问题写成采购问题。 如果一项服务主要追求每小时处理更多请求，吞吐、利用率和单位成本会成为重要指标；如果用户正在等待下一步编程建议，单次响应时间可能更醒目。硬件厂商说“更快”时，采购方仍须追问：快的是首个输出、完整回答，还是单位时间的总产出？
容量、带宽与计算要一起看。 存储容量增加，可以容纳更大模型、上下文或更多用户状态；但能否降低实际延迟，还取决于数据到达计算单元的速度、软件如何安排任务，以及哪些数据仍需跨设备移动。因此，堆叠内存的容量承诺不能直接换算成应用性能承诺。
初创公司的边界会被客户重新划定。 d-Matrix 从芯片走向机柜与 API 入口，反映出基础设施产品的一项现实：客户通常希望供应商交付可用能力，而不是留下大量系统集成工作。与此同时，承担更多交付环节也意味着更复杂的执行风险。
争议与需核实
- 时间定位：所给转写不含官方章节或逐段时间戳；本文导航时间均为近似值，精确发言位置应以音视频复核。
- 性能比较：节目未提供统一模型、精度、批量和功耗条件下的独立测试，不能据此断定 d-Matrix 在所有低延迟任务上优于 GPU。
- 下一代产品：Raptor 的堆叠 DRAM、容量增幅、“率先商业化”等说法属于嘉宾陈述；量产状态与客户实测有待查证。
- 商业进展：投资、合作、试用入口与规模化采购是不同阶段；访谈没有披露足以验证订单规模或部署量的数据。
- 市场愿景：“推理需求无限”和“触及 50% 的 AI 决策”不具备节目中明确给出的统计口径，应视作战略判断与目标，而非预测结果。
行动建议
- 评估推理硬件时先定义任务：记录模型、上下文长度、并发、批量、可接受延迟及成本目标，再比较方案。
- 要求端到端测试：除芯片指标外，同时测量服务响应、单位能耗、软件迁移工作量和机柜部署条件。
- 区分演示与交付：分别核实硅片验证、产品可用、客户试用、量产及大规模部署所处的阶段。
- 跟踪下一代产品的可证实进展：重点关注堆叠 DRAM 的实际容量、运行模型、开发者工具和公开客户案例。
