台積電董事長劉德音撰文 談1兆電晶體GPU的到來

在 IEEE 網站上，周五 (29 日) 發表了一篇署名為《How We’ll Reach a 1 Trillion Transistor GPU》的文章，講述了台積電 (2330-TW)(TSM-US) 是如何達成 1 兆晶體管晶片的目標。

本文署名作者 Mark Liu(劉德音) 和 H.-S Philip Wong，其中劉德音是台積電董事長。 H.-S Philip Wong 則是史丹佛大學工程學院教授、台積電首席科學家。

文中指出，從 1997 年擊敗西洋棋人類冠軍的「深藍」，到 2023 年爆火的 ChatGPT，再過 15 年，人工智慧已經發展到可以「合成知識」(synthesize knowledge) 的地步，可以創作詩歌、創作藝術品、診斷疾病、編寫總結報告和電腦程式碼，甚至可以設計與人類製造的積體電路相媲美的積體電路。

所有這些奇妙的人工智慧應用都歸功於三個因素：ML 演算法創新、大量數據，以及半導體製程的進步。

文章指出，如果人工智慧革命要以目前的速度繼續下去，它將需要半導體產業做出更多貢獻。10 年內，它將需要一個 1 兆電晶體的 GPU，也就是說，GPU 的裝置數量是當今典型裝置數量的 10 倍。

文章提及，CoWoS 是台積電的矽晶圓上晶片先進封裝技術，目前已在產品中得到應用。例如 Nvidia Ampere 和 Hopper GPU。 當中每一個都由一個 GPU 晶片和六個高頻寬記憶體立方體組成，全部位於矽中介層上。計算 GPU 晶片的尺寸大約是晶片製造工具目前允許的尺寸。

Ampere 有 540 億個晶體管，Hopper 有 800 億個。從 7 奈米技術到更密集的 4 奈米技術的轉變使得在基本相同的面積上封裝的電晶體數量增加了 50%。 Ampere 和 Hopper 是當今大型語言模型 (LLM) 訓練的主力。 訓練 ChatGPT 需要數萬個這樣的處理器。

HBM 是對 AI 日益重要的另一項關鍵半導體技術的一個例子：透過將晶片堆疊在一起來整合系統的能力，我們在台積電稱之為 SoIC (system-on-integrated-chips) 。 HBM 由控制邏輯 IC 頂部的一堆垂直互連的 DRAM 晶片組成。 它使用稱為矽通孔 (TSV) 的垂直互連來讓訊號通過每個晶片和焊料凸點以形成記憶體晶片之間的連接。 如今，高效能 GPU 廣泛使用 HBM 。

展望未來，3D SoIC 技術可以為當今的傳統 HBM 技術提供「無凸塊替代方案」(bumpless alternative)，在堆疊晶片之間提供更密集的垂直互連。 最近的進展表明，HBM 測試結構採用混合鍵合技術堆疊了 12 層晶片，這種銅對銅連接的密度高於焊料凸塊所能提供的密度。此儲存系統在低溫下黏合在較大的基礎邏輯晶片之上，總厚度僅為 600 µm。

文章結論認為，在人工智慧時代，半導體技術是人工智慧新能力和應用的關鍵推動者。 新的 GPU 不再受過去的標準尺寸和外形尺寸的限制。 新的半導體技術不再局限於在二維平面上縮小下一代電晶體。 整合人工智慧系統可以由盡可能多的節能電晶體、用於專門計算工作負載的高效系統架構以及軟體和硬體之間的最佳化關係組成。