算力封神！Google發布最強TPU 

Google Cloud 的 TPU 以往都是採用單晶片兼具訓練及推理功能的設計，不過在 Google Cloud 年度盛會 Google Cloud Next "26 上，宣布推出兩款差異化的第 8 代 TPU 產品，攜手 Google DeepMind 開發針對訓練的 TPU 8t 以及針對推理的 TPU 8i。

Google(GOOGL-US) 強調透過針對 AI 兩大核心任務不同的執行需求進行最佳化設計，進一步將效能發揮到極致。同時 Google 也強調兩款晶片都能運行各類 AI 負載，只是在各自擅長的領域表現更強。

TPU 8t 旨在處理大規模、運算密集型訓練任務，提供更高的運算吞吐量與可擴展頻寬，滿足 AI 模型訓練需求，單晶片配備 216GB HBM。Google 表示，基於 TPU 8t 的 Pod 相較上一代產品效能提升 3 倍，可將模型開發週期從數月縮短至數週，並儘可能提升能源效率。TPU 8t 可擴展至 9600 顆晶片與 2PB 的 HBM 內存，晶片間頻寬相較上一代提升兩倍，可實現高達 121 ExaFlops 的算力，讓超大型模型能夠使用統一的超大內存池。

此外，TPU 8t 還整合了速度提升 10 倍的儲存訪問，透過 TPUDirect 讓資料繞過 CPU 直接進入 TPU，進一步提升運算效率。透過 Google 全新 Virgo 網路以及 JAX、Pathways 軟體，TPU 8t 可在包含百萬顆晶片的叢集中實現近乎線性的效能擴展。同時，TPU 8t 透過 RAS 功能保障可靠性，包括對數萬顆晶片即時監測、自動偵測並在不中斷作業的情況下繞過故障 ICI 連接，以及 OCS 光路交換任務等自主維護機制，將硬體故障對集群及訓練的影響降至最低，力爭實現超過 97% 的有效吞吐量。

專注代理式 AI 及推理需求的 TPU 8i

TPU 8i 是以 AI 推理與代理式 AI 服務開發的晶片，具有更高記憶體頻寬與極低的推理延遲。透過解決記憶體傳輸瓶頸、搭配 Axion CPU 架構、針對 MoE 混合專家模型優化及降低延遲等四項關鍵技術，為新一代代理式 AI 及 AI 推理需求實現優化設計，綜合使每美元效能提升 80%，企業可用相同成本服務兩倍的用戶。

TPU 8i 搭載 288GB HBM 記憶體與 384MB 片上 SRAM，解決記憶體傳輸瓶頸，容量相較上一代提升 3 倍，幾乎不會出現等待記憶體傳輸的閒置狀況。同時，TPU 8i 伺服器實體 CPU 數量相較上一代增加一倍，採用基於 Arm 指令集的 Google 客製化 Axion 架構，透過非均勻記憶體架構（NUMA）隔離，進一步擴展效能。

MoE 混合專家模型是代理式 AI 的發展趨勢，由多個小型專家模型組成，僅在需要時載入相關模型，執行混合任務時無需在多個模型間切換。 Google 將 TPU 8i 的晶片互連頻寬提升至 19.2TB/s，相較上一代翻倍，確保多顆 TPU 8i 組成的系統具備統一、低延遲特性，媲美大型單晶片。此外，透過片上 CAE（集體加速引擎）卸載全域操作，可將晶片延遲降低 5 倍，大幅縮短反應時間。

與 Gemini 共同設計 支援廣泛開發框架

兩款第 8 代 TPU 晶片均與 Gemini 協同設計，其中 Boardfly 拓撲結構為滿足當前最強推理模型的通訊需求而設計，TPU 8i 的 SRAM 容量則依據量產級推理模型的 KV 快取佔用空間確定，Virgo 網路架構的頻寬目標則根據萬億參數訓練的並行性需求設定。

同時，TPU 8t 與 TPU 8i 均搭配 Google 客製化 Axion CPU 系統運行，實現系統級最佳化。兩款平台均原生支援 AX、MaxText、PyTorch、SGLang、vLLM 等常用框架，支援客戶無需虛擬化直接存取硬體，同時開源了 MaxText 參考實現與用於強化學習的 Tunix 等相關資料。

面對 AI 資料中心因海量算力需求帶來的能源緊張問題，Google 表示，TPU 8t 與 TPU 8i 相較代號 Ironwood 的第 7 代 TPU，能源效率提升兩倍，優化涵蓋整體架構設計、整合可即時動態調節功耗的電源管理等方面。同時從晶片到資料中心實現全系統級能效優化，例如將網路連接與運算整合在同一晶片，降低 TPU 晶片資料傳輸能耗，並圍繞 TPU 協同設計資料中心架構，最終相較五年前每單位電力算力提升 6 倍。

TPU 8t 與 TPU 8i 採用 Google 第 4 代液冷散熱架構，實現傳統風冷難以企及的高性能密度。加之從 CPU、TPU 到整機系統的全鏈路自主設計，達成傳統分離式主機與晶片方案無法實現的高效能表現。