谷歌新 AI 芯片的 HBM 带宽翻倍了吗？

就标题所问的“带宽翻倍”，现有资料能确认的是 TPU 8i 的芯片间互联（ICI）带宽，而不是 HBM 峰值带宽。

36 氪将其概括为“谷歌发布新 AI 芯片，HBM 带宽翻倍”，这个说法抓住了内存系统的重要性，却容易把不同层级的指标混在一起。谷歌在 Hot Chips 2026 披露了第八代 TPU 的技术细节，包括面向推理的 TPU 8i 和面向训练的 TPU 8t；两款芯片此前已在 Google Cloud Next 首次亮相，这也是谷歌首次在同一代产品中同时推出训练与推理芯片。

判断“带宽翻倍”具体指什么，需要先区分 HBM 峰值带宽、HBM 容量、SRAM 容量和 ICI 带宽：HBM 带宽衡量芯片与内存之间每秒可搬运的数据量，容量影响单芯片能容纳多少模型权重和缓存，SRAM 决定片上数据读取速度，ICI 则决定芯片之间每秒可交换多少数据。 现有披露明确显示，8i 的 ICI 带宽较前代翻倍；其 HBM 峰值带宽没有公开数字，不能用 HBM4 的单堆栈带宽直接替代 8i 的对应数据。

TPU 8i 的本地内存配置可以概括为“更大 SRAM 加更大 HBM”：片上 SRAM 容量达到 384MB，为前代的 2.4 倍；HBM 总容量为 288GB，采用 12 层堆叠的 HBM3E；ICI 带宽达到 19.2Tb/s。 资料给出的对比是，片上 SRAM 带宽约为 HBM 的 15 至 20 倍，访问延迟只有 HBM 的百分之一，每比特能耗约为 HBM 的十分之一到二十分之一；增加 SRAM 的直接目的，是减少推理过程中的片外内存访问。

TPU 8i 的推理扩展能力主要依靠 Boardfly 拓扑。每个计算托盘搭载 4 颗 TPU，每 8 个托盘构成一个全连接基本组；一个 Pod 包含 36 个基本组，最多可部署 1152 颗芯片。该拓扑的最大传输跳数由 3D 环面拓扑的 16 跳降至 7 跳，更适合低延迟通信以及 MoE 模型的任意芯片间数据交换。 TPU 8i 还把集合运算交给靠近网络硬件的 ICI I/O 裸片处理，减少数据在计算核心与 HBM 之间往返的开销，最终将片内集合运算延迟降低 80%。

TPU 8t 目前尚未披露单芯片参数，已公布的信息主要围绕由 9600 颗芯片、OCS 光交换和 2PB 全局共享 HBM 内存池组成的 Superpod。该 Superpod 在 FP4 精度下的集群峰值算力达到 121 EFLOPS，能效约为第七代 Ironwood TPU 的两倍。121 EFLOPS 是 Superpod 集群指标，不能写成 TPU 8t 单芯片算力。

训练侧的进一步扩展依赖 Virgo 集群网络，单域理论上限为 13.4 万颗 TPU，集群总带宽达到 47Pb/s，全阵列 FP4 峰值算力可达 1.6YFLOPS。 谷歌也没有将低精度计算全部切换到 FP4：反向传播等精度敏感算子仍需要混合精度支持。这反映出超大规模训练必须在计算吞吐、功耗和训练稳定性之间取得平衡。

HBM 带宽之所以成为 AI 加速器的核心瓶颈，可以从理论峰值看出：DDR5-4800 的带宽为 38.4GB/s，HBM3 已达 819GB/s，HBM3E 则超过 1TB/s。 这些数字不是具体应用的端到端性能，却能说明内存供给速度与计算速度之间的差距；当权重、KV Cache 或中间结果无法及时送入计算单元时，再高的峰值算力也可能无法转化为实际吞吐。

资料显示，HBM4 的单堆栈带宽由 HBM3E 的 1.2TB/s 增至 2.0TB/s，接口由 1024 位拓宽至 2048 位，而基础引脚速率由 9.8Gb/s 回落至 8.0Gb/s。 继续提高单引脚速率，会使 TSV、微凸点和封装互连中的寄生参数更难控制，阻抗匹配和信号反射的难度也会增加；信号完整性和散热同样构成约束。 因此，HBM4 通过扩大接口宽度提升带宽，缓解内存供给速度的限制；而 8i 已明确使用 HBM3E，不能反向套用上述 HBM4 数据。

谷歌第六代 Trillium 相对 TPU v5e 已实现峰值计算性能提升 4.7 倍、节能超过 67%、HBM 容量与带宽翻倍，以及 ICI 带宽翻倍。 第八代 TPU 的关键变化超越了带宽数字的简单叠加，实质上在于把训练与推理进一步拆开：8i 强调低延迟、本地缓存和集合通信，8t 则围绕超大规模训练、共享内存池与高带宽网络展开。

横向来看，Hot Chips 2026 的共同主题是 HBM4、先进封装和高速互联。资料显示，英伟达 Rubin 配备 288GB HBM4、峰值带宽 22TB/s，AMD MI400 配备 432GB HBM4、带宽 23.3TB/s。 但这些单卡 HBM 数据不能与谷歌 8i 的 19.2Tb/s ICI 带宽或 8t 的 Superpod 指标直接比较：前者衡量单卡与内存的通道能力，后者衡量芯片间或集群级互联，而且三者的精度、负载和软件栈也不相同。

对开发者而言，低延迟推理应重点评估 SRAM 容量、HBM 容量、互联拓扑和集合运算效率，大规模训练则需要同时考察 FP4 混合精度支持、集群带宽与扩展规模，而不是只比较峰值 FLOPS。 对 MoE 等通信密集型负载，网络跳数和集合通信效率可能比单芯片浮点算力更接近真实瓶颈；对训练任务而言，能否稳定扩展到足够多的芯片，也比实验室中的单卡峰值更重要。

模型部署还需要核对几项条件：权重和 KV Cache 是否能够装入目标芯片，如何分片，编译器是否支持所需算子，以及服务框架能否有效使用底层互联。在软件生态方面，Trillium 已支持 JAX、XLA，并结合 Hugging Face 的 Optimum-TPU 降低迁移门槛。 但现有资料不足以确认 8i、8t 的具体框架版本、定价和可用时间，不能据此作出上线承诺。 围绕 HBM4 价格与市场影响的讨论也说明内存已成为部署成本的重要变量，但行业价格不能直接换算为 8i、8t 的芯片或云服务报价。

谷歌在第八代 TPU 上为训练和推理分别设计了缓存、内存、互联与能效协同方案，其变化不能只用带宽数字概括。