SemiAnalysis 最新评测显示，在智能体多步推理的真实负载下，FP8 精度条件下谷歌 TPU v7（Ironwood）每美元产出达到英伟达 GB300 NVL72 的 1.85 倍，实现了推理场景的反超，这件事不只是单芯片跑分的胜负，更代表 AI 算力芯片的路线正在发生变化，英伟达 GB300 走的是训推一体通用 GPU 路线，一颗芯片兼顾训练、后训练、推理全部负载；而谷歌从 TPU v7 开始验证偏向推理优化的架构，到下一代 TPU v8 直接拆成 8t 训练芯片、8i 推理芯片，也就是训推分立，用两套完全不同的硬件架构分别适配两类差异巨大的算力需求，不再追求一颗芯片通吃所有任务，这种架构重构思路，在长上下文、多轮智能体、KV Cache 压力大的推理场景里，TCO 优势会明显拉开，当然在大规模基础模型预训练场景，GB300 这类通用加速卡依然保持很强的竞争力。
一、TPU v7 与 GB300 核心参数对比表
| 对比项 | TPU v7（Ironwood） | GB300 NVL72 |
|---|---|---|
| 架构思路 | 双芯粒，训推同芯片但偏向推理优化，下一代走向训推分立 | 训推一体通用 GPU，单芯片覆盖训练 + 推理 |
| 单芯片 HBM3e | 192GB，7.38TB/s 带宽 | 单卡 288GB HBM3e |
| FP8 峰值算力 | 4614 TFLOPS | Blackwell Ultra FP4 算力更高 |
| 集群互联 | 3D Torus ICI 互联，大规模 Pod 9216 卡 | NVLink 72 卡超节点，单节点 40TB 统一内存 |
| 优势场景 | 智能体推理、长上下文、KV Cache 密集任务、性价比 | 大模型预训练、大规模基础模型训练、通用混合负载 |
| 短板 | 超大规模预训练集群生态弱于 CUDA | 推理场景下，长文本预填充阶段排队、首字延迟偏高 |
二、训推一体和训推分立的底层差异
训推一体（GB300 路线）
芯片同时为矩阵训练计算、推理 Token 生成做平衡设计，硬件资源兼顾高算力吞吐、大显存、通用可编程性。
优点：集群调度灵活，训练完直接同卡做推理，迁移成本低，CUDA 生态成熟，适配各类模型、第三方框架。
缺点：训练和推理的硬件诉求本身冲突，训练更看重持续高算力、大规模互联；推理更看重 KV Cache 缓存、低首字延迟、内存带宽，芯片做折中设计之后，两类场景都没法做到极致成本。
训推分立（谷歌 TPU v8 路线，v7 是过渡验证）
专门做两款芯片：TPU 8t 主打训练，TPU 8i 主打推理，硬件缓存、显存、互联、SRAM 全部单独优化。
优点：推理芯片可以把片上 SRAM 做大、优先优化 KV Cache 读写，大幅降低长上下文推理成本；训练芯片专注算力密度、集群互联带宽，各自做到最优 TCO。
缺点：硬件种类变多，机房调度、运维、模型部署链路更复杂，需要两套硬件栈、两套编译适配，通用性下降。
三、TPU v7 能在推理场景反超 GB300 的关键架构设计
- 双芯粒（Chiplet）架构，两颗独立计算芯粒通过 D2D 高速接口互联，D2D 带宽远高于普通 ICI，降低片内数据搬运开销，适配大模型 KV Cache 高频读写
- 原生 FP8 硬件支持，搭配大容量 192GB HBM，单卡可以放下 70B 级模型权重 + KV Cache，减少跨卡频繁通信
- 第四代 SparseCore，专门加速检索、嵌入、排序类负载，刚好匹配智能体调用工具、检索知识库的典型工作流
- 3D Torus 集群互联，适合推理集群做 Prefill 和 Decode 分离调度，降低长文本排队延迟
四、两种路线的适用边界
✅适合训推一体（GB300）
- 大模型基座预训练、持续预训练
- 中小规模混合负载，一天内同时跑训练、微调、推理
- 团队依赖 CUDA 生态，大量自定义算子、第三方开源代码
- 线上大规模推理服务、智能体集群、长上下文业务
- 推理流量远大于训练流量，优先控制推理边际成本
- 自研栈（JAX）、模型固定，愿意单独适配两套硬件
✅适合训推分立（TPU v8 方向）
五、本次评测争议和局限
- 本次反超只限定在 FP8、智能体多步推理基准，切换 FP4 精度之后 GB300 单 Token 吞吐可以反超，但预填充延迟会恶化
- 跑分是 Token / 美元的成本指标，不是单卡绝对算力，训练场景 GB300 优势依然明显
- TPU 生态局限：JAX 闭环，迁移 PyTorch 模型成本高，第三方算子生态不如 CUDA
- 训推分立不是万能方案，只有推理流量足够大、业务稳定，分摊硬件和运维成本之后才有价值
【相关 FAQ】
问题 1：谷歌 TPU v7 在推理场景反超英伟达 GB300，和训推分立、架构重构是什么关系？
回答 1：谷歌 TPU v7 在推理场景反超英伟达 GB300，是谷歌训推分立路线的前置验证，v7 还是同芯片兼顾训推，但架构已经偏向推理优化；到 TPU v8 直接拆分 8t 训练、8i 推理芯片，用架构重构把训练和推理的硬件需求分开优化，拿到推理场景的成本优势。
问题 2：TPU v7 反超 GB300，是不是代表训推分立路线一定优于训推一体？
回答 2：不是，TPU v7 反超 GB300 只发生在智能体推理、长上下文推理这个特定场景；训推一体的 GB300 在基座预训练、混合负载、CUDA 生态适配上依然更强，训推分立更适合推理流量巨大的线上业务，不是通用最优解。
问题 3：TPU v7 和下一代 TPU v8 训推分立版本，核心差别在哪？
回答 3：TPU v7 是单芯片同时支持训练和推理，只是架构偏向推理优化；TPU v8 做训推分立，拆成 TPU 8t 训练芯片、TPU 8i 推理芯片，两款芯片的 SRAM、显存、互联全部针对性重构，不再做折中平衡。
问题 4：GB300 训推一体架构，在推理场景为什么会输给 TPU v7？
回答 4：GB300 训推一体架构要兼顾训练高算力需求，硬件资源做了折中；在智能体长上下文推理场景，KV Cache 读写、首字延迟、单位 Token 成本不是它的最优设计目标，开启 FP4 提速之后还会出现预填充排队延迟上升，所以在 Token / 美元指标上落后 TPU v7。
【参考资料】
[2026-11-11]（从谷歌 TPU v7 反超英伟达 GB300，看训推分立与架构重构）与非网
[2026-11-08]（Google's TPU v7 posts agentic inference results that beat or rival Nvidia Blackwell on cost）druckfin.com
[2026-11-07]（TPU Ironwood 7x 详细规格与架构解析）AI Wiki
[2026-10-28]（TPU v7 Ironwood 芯片架构与双芯粒设计说明）AI Wiki
[2026-09-30]（TPU v8 训推分立架构对比：8t、8i 定位差异）凯基亚洲
【免责声明】
本文内容基于 SemiAnalysis 评测报告、谷歌官方文档、行业媒体公开技术解读整理；TPU v7 反超 GB300 的结论限定在特定基准、FP8 精度、智能体推理负载，不代表全场景领先；训推分立、训推一体架构各有适用场景，算力选型受模型栈、业务流量、运维能力、生态约束影响；内容仅作为 AI 硬件技术方向参考，不构成算力采购、集群建设投资建议。