高階AI晶片推升HBM需求 研調估明年先進封裝產能將增3-4成

研調機構集邦 (TrendForce) 指出，大型雲端業者積極投入採購高階 AI 伺服器，以持續訓練及優化其 AI 分析模型，高階 AI 晶片將推升 2023-2024 年高頻寬記憶體 (HBM) 的需求，驅動明年先進封裝產能將成長 3-4 成。

集邦表示，今 (2023) 年由 ChatBOT 等生成式 AI 應用帶動 AI 伺服器成長熱潮，包含 Microsoft、Google、AWS 或其他中系業者如 Baidu、ByteDance 等陸續採購高階 AI 伺服器，以持續訓練及優化其 AI 分析模型。為提升整體 AI 伺服器的系統運算效能，以及記憶體傳輸頻寬等，NVIDIA、AMD、Intel 等高階 AI 晶片中大多選擇搭載 HBM。

目前 NVIDIA 的 A100 及 H100，各搭載達 80GB 的 HBM2e 及 HBM3，在其最新整合 CPU 及 GPU 的 Grace Hopper 晶片中，單顆晶片 HBM 搭載容量再提升 20%，達 96GB。

此外，AMD 的 MI300 也搭配 HBM3，其中，MI300A 容量與前一代相同為 128GB，更高階 MI300X 則達 192GB，提升了 50%。同時預期 Google 將於 2023 年下半年積極擴大與 Broadcom 合作開發 AISC AI 加速晶片 TPU 亦採搭載 HBM 記憶體，以擴建 AI 基礎設施。

集邦預估，2023 年市場上主要搭載 HBM 的 AI 加速晶片 (如 NVIDIA 的 H100 及 A100、AMD 的 MI200 及 MI300 及 Google 的 TPU 等），搭載 HBM 總容量將達 2.9 億 GB，成長率近 6 成，2024 年將持續成長 3 成以上。

另一方面，AI 及 HPC 等晶片對先進封裝技術的需求日益提升，其中，以 TSMC 的 CoWoS 為目前 AI 伺服器晶片主力採用者。CoWoS 封裝技術主要分為 CoW 和 oS 兩段。

CoW 主要整合各種 Logic IC 如 CPU、GPU、AISC 等，以及 HBM 記憶體等；oS 部分則將上述 CoW 以凸塊 (Solder Bump) 等接合，封裝在基板上，最後再整合到 PCBA，成為伺服器主機板的主要運算單元，與其他零組件如網路、儲存、電源供應單元 (PSU) 及其他 I/O 等組成完整的 AI 伺服器系統。

根據集邦觀察，在高階 AI 晶片及 HBM 強烈需求下，台積電 (2330-TW) 於 2023 年底 CoWoS 月產能有望達 12K，當中，NVIDIA 在 A100 及 H100 等相關 AI Server 需求帶動下，對 CoWoS 產能較年初需求量，估提升近 5 成。

加上 AMD、Google 等高階 AI 晶片需求成長下，將使下半年 CoWoS 產能較為緊迫，而此強勁需求將延續至 2024 年，預估若在相關設備齊備下，先進封裝產能將再成長 3-4 成。

值得注意的是，在 AI 較急促需求下，無論是 HBM 或 CoWoS 生產過程中，得後續觀察周邊配套措施，例如直通矽晶穿孔封裝技術 (TSV)、中介層電路板 (Interposer) 以及相關設備 (如濕製程設備) 等是否能到位，如前置時間 (Lead Time) 等考量。

而在 AI 強勁需求持續下，集邦預估，NVIDIA 針對 CoWoS 相關製程，亦不排除將評估其他類似先進封裝外援，例如 Amkor 或 Samsung 等，以因應可能供不應求的情形。