谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

  衡宇发自凹非寺

  量子位 | 公众号 QbitAI

  英伟达最近头疼的事儿可不止老黄那一件。

  本周内,谷歌祭出了两款新 TPU 芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款 TPU 芯片,第八代 TPU 已经扩到四种配置。

  今年,谷歌第一次在同一年内推出四款 TPU 系统。而谷歌对 TPU 的野心,可能比外界想象得更大——

  还是今年,谷歌破天荒开始对外销售 TPU 系统。

  量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年 TPU 市场份额会快速上升”,届时“会有更多大型企业大规模使用 TPU”。

  至于性能方面,他们也自信满满。

  至少在谷歌高层人士看来,“英伟达一家独步天下的日子快要结束了”。

  △图片由 AI 生成

  “像英伟达一样”,对外销售 TPU 系统

  今年,谷歌做了一个违背祖宗的决定——

首次向外部客户销售整套 TPU 系统。

  量子位从接近谷歌的人士处获悉,一位加入谷歌不到三年的高管推动了这项决策。

  在内部巨大争论声中,他力主改变 TPU 的商业战略,最终让管理层下定决心,“像英伟达一样”把 TPU 卖给外部客户。

  △图片由 AI 生成

  最早(2013 年),TPU 只是谷歌为了降低自家 AI 业务算力成本而自研的专用加速芯片,直到 2018 年才开始在 Google Cloud 上开放 TPU 对外算力租赁。

  云上租赁形式意味着 TPU 相关硬件基础设施均由谷歌管理运营。

  然而时间快进到今年 Q1 财报会,CEO 劈柴哥表示谷歌观察到来自 AI 实验室、资本市场公司以及高性能计算应用领域对 TPU 的“强劲需求”,宣布将面向部分精选客户,支持在客户自有数据中心内部署 TPU。

  内部把这轮外售视为一次“以售养研”的结构性置换——用外部订单分摊数据中心的天量资本开支,用规模化需求反哺自研硬件的成本曲线。

  Q2 开始,谷歌向客户交付完整 TPU 系统。

  系统包含计算、存储、网络硬件及软件等一整套能力,还提供训练和推理相关服务。

  △图片由 AI 生成

  这套商业模式已经开始显现收入潜力。

  今年以来,Google Cloud 的增长一路提速。Q1 同比增长 63%,Q2 增长 82%,到了 Q3,收入达到 307 亿美元,同比增长 103%;经营利润也由 35.94 亿美元升至 111.21 亿美元。

  (超小声,Google Cloud 应该是 Q3 财报上唯一让人看了不皱眉的 part)

  谷歌母公司 Alphabet 明确表示,TPU 系统销售是第三季度 Google Cloud 增长的重要贡献因素之一。

  最新 10-Q 中,谷歌母公司 Alphabet 已将“产品销售,主要为 TPU 系统”明确列入 Google Cloud 收入。管理层预计 TPU 系统销售将在 Q4 继续扩大。

  虽然 TPU 系统销售的绝大部分合同收入要等到 2027 年才进入报表,目前还没有落实到财报上,但这一趋势恐怕难以逆转。

  为什么今年才这么做?

  其实谷歌对外销售 TPU,是自然演化与外部条件共同作用的必然选择

  虽然 Q2 财报会上,劈柴哥表示,谷歌内部对前沿 AGI 的算力需求依然是一条不可逾越的红线,但这两年高端 GPU 持续紧缺,求购英伟达无门的客户不得不另觅他法。

  谷歌想要抓住这个窗口。

  2025 年发布的第七代 TPU Ironwood,就已经专门针对推理进行了设计。到了今年的第八代,谷歌进一步把训练、实时推理、机密计算和超长上下文拆分成不同的系统配置。

  谷歌芯片业务负责人 Amin Vahdat 对外透露口风说“未来属于专业化”,其意图正是以专业化芯片路线,撬动英伟达“一颗通用芯片包打天下”的叙事根基。

  △图片由 AI 生成

  其次,谷歌抡起小锤一锤四十、一锤八十地在疯狂补课 TPU 软件生态。

  英伟达这些年最大的优势之一就是 CUDA 生态。英伟达早早把 AI 开发者的工具箱给配齐了,大量软件都围绕 CUDA 做过适配和优化。

  作为主流 AI 框架,PyTorch 对 CUDA 支持最成熟。

  业界主流路径就是用 PyTorch 搭建模型,经由 CUDA 调用英伟达 GPU,构筑起难以替代的生态壁垒。

  然而很长一段时间里,谷歌 TPU 深度绑定 TensorFlow、JAX,软硬件栈和 GPU 差异大,迁移门槛很高。

  2025 年年中,谷歌终于开始拉着 Meta 的 PyTorch 团队一起开发 TorchTPU,目的就是支持少量改代码即可在 TPU 上跑 PyTorch 模型。

  上个月底,TorchTPU 这项合作成果正式开源。

  会带来什么效果,相信不用我在这里废话了。

  △图片由 AI 生成

  性能和成本方面,11 月 5 日,SemiAnalysis 公布了一组新的 Agent 推理测试结果。

  结果显示在 Muse Spark 等模型上,谷歌第七代 TPU Ironwood 已经能在部分测试中实现比英伟达 GPU 更高的每美元 token 产出。

  此前,英伟达只在少数场景输给 AMD;TPU 带来的性价比冲击,则是它没见过、也不想接受的局面。

  SemiAnalysis 称,谷歌提交 AgentX 测试结果证明 TPUv7 能够在每美元性能上击败 GB300 NVL72 FP4 后,英伟达迅速组织了一支工程师团队进行反击。

英伟达的工程师和 Agent 们不分昼夜、没有周末地高强度加班。

  甚至工作到当地时间凌晨 2 点。

  经过四轮优化后,在某个模型的测试上,GB300 每美元 Token 产出终于反超 TPU 1.5-2.6 倍。

  前有 AMD 在 GPU 阵营内部追赶。

  后有谷歌试图从架构层面撬动 GPU 作为默认算力选项的地位。

  英伟达这回想不自己卷自己都难!

  老黄的烦心事还没处理完,没想到 AI 芯片市场还要给英伟达加一道“左右为难”。

  真乃英伟达的多事之秋,多事之秋啊……

  参考资料:

  [1]https://newsletter.semianalysis.com/p/tpu-strikes-the-king?utm_source=chatgpt.com