大模型Groq首秀引爆話題 自研LPU服務速度遠快於GPU

ChatGPT 的新競爭對手 Groq 推出了語言處理單元 (LPU)，並於近期首度公開成果。當提示模型時，答案立即產生。 而且，答案是依據事實，並引述來源，長達數百字，這讓它在社群媒體造成轟動。

Groq 憑藉的武器是語言處理單元 (LPU)。 這項尖端技術的速度接近每秒 500 個 token。 它為數位處理的速度和效率樹立了新的基準。LPU 能將延遲降至最低而脫穎而出，提供了迄今為止聞所未聞的服務速度。

據報導，Groq 的 LPU 旨在解決 CPU 和 GPU 等舊技術的限制。 當面對大量運算需求時，傳統的處理架構往往無法滿足要求。 Groq 使用新的張量流處理器 (TPS) 架構來實現 LLM 運算。 憑藉其快速推理和降低功耗的承諾，TPS 和 LPU 有望改變處理資料的方式。

據 X 平台帳號 k_zer0s 發文表示，Groq 的 LPU 不需要像 Nvidia GPU 那樣快速的資料傳輸，因為它們的系統中沒有 HBM。它們使用 SRAM，其速度比 GPU 使用的速度大約快 20 倍。由於推理運行使用的資料比模型訓練少得多，因此 Groq 的 LPU 更節能。與用於推理任務的 Nvidia GPU 相比，它從外部記憶體讀取的資料更少，功耗也更少。

LPU 的運作方式與 GPU 不同。 它使用臨時指令集電腦架構，因此不必像 GPU 使用高頻寬記憶體 (HBM) 那樣頻繁地從記憶體重新載入資料。 這有助於避免 HBM 短缺問題並降低成本。

LPU 不像 GPU 需要超高速儲存。 Groq 聲稱其技術可以憑藉其強大的晶片和軟體在人工智慧任務中取代 GPU。

Google TPU 專案的先驅 Jonathan Ross 於 2016 年創立了 Groq。該公司迅速確立了自己在處理單元創新領域的領導者地位。 Ross 在人工智慧和處理技術方面的豐富背景推動了 LPU 的發展。 

Groq 公司宣稱，其技術能夠透過其強大的晶片和軟體，在推理任務中取代 GPU 的角色。

Ross 曾表示，「Groq 的存在是為了消除『富人和窮人』，並幫助人工智慧社群中的每個人發展。 而推理是實現這一目標的關鍵，因為『速度』是將開發人員的想法轉化為商業解決方案和改變生 APP 的關鍵」。