AI算力成本腰斬！AMD MI355X跑GLM 5.2 成本僅輝達一半

隨著 AI 推理需求爆炸性增長，算力成本成為企業落地的最大痛點。近期，推理優化公司 Wafer 公布的一組數據引發了 AI 業界的高度關注：在 AMD(AMD-US) MI355X 晶片上運行最新開源模型 GLM 5.2，不僅實現了高效能表現，其成本更僅為輝達 (NVDA-US) 旗艦 GPU B200 的一半。

這項結果顯示，AMD 正逐步縮小與輝達在 AI 推理市場的差距，也讓外界重新審視 GPU 市場長期由 CUDA 生態建立的競爭優勢。

測試顯示，MI355X 在執行 GLM 5.2 時，單節點聚合吞吐量達每秒 2,626 個 token（tok/s），單流吞吐量則達每秒 213 個 token。在效能方面，約可達到同級輝達旗艦 B200 約八成水準，但部署成本卻不到 B200 的一半。

消息公布後，立即引發開發者社群高度關注，相關討論也迅速登上 Hacker News 熱門排行榜。

Wafer 表示，這次部署並非依靠特殊硬體，而是透過一系列軟體最佳化完成，包括模型量化、推理引擎選擇，以及多項相容性修正與效能調校，讓 AMD GPU 能充分發揮推理能力。

量化技術兼顧效能與精準度

在模型最佳化方面，Wafer 使用 AMD 官方 Quark 工具，將模型權重由 BF16 量化為 MXFP4，以降低運算資源需求。

根據測試結果，量化後模型在多項基準測試中的準確率僅有輕微變化，部分測試甚至較官方量化版本更佳，代表壓縮模型後仍能維持相當程度的推理品質。

推理引擎方面，Wafer 比較了 vLLM、ATOM 與 sglang 三種方案後，最終選擇 sglang。原因在於前兩者無法同時兼顧量化效益與長文本輸出品質，而 sglang 則能維持模型輸出的穩定性，成為此次部署的主要推理平台。

修補細節 推理速度大幅提升

在完成模型量化後，Wafer 又針對推理流程持續優化。其中最大的挑戰來自 ROCm 平台對投機解碼（Speculative Decoding）的支援不足。

團隊發現，共享專家層命名方式與 sglang 使用的命名規則不同，導致模型載入失敗，透過修正命名後，單流吞吐量便大幅提升近三倍。

此外，另一項問題來自程式碼直接引用 CUDA 標頭檔，導致 ROCm 編譯失敗，Wafer 僅透過加入編譯保護即可解決。之後再調整平行運算方式，以及手動指定適合 GLM 5.2 專家層的 Kernel，最終將單節點聚合吞吐量提升至每秒 2,626 個 token。

測試採用接近實際生產環境的設定，包括 2 萬 token 輸入、1,000 token 輸出及 60% 快取命中率，首個 token 延遲控制在 2.22 秒內，整體成功率達 100%。

新創公司也能挑戰 GPU 巨頭

值得注意的是，完成這項成果的 Wafer 並非大型科技公司，而是一家僅獲得 400 萬美元種子輪融資的新創企業，投資人包括 Fifty Years、Y Combinator、Liquid2，以及 Google 首席科學家 Jeff Dean、OpenAI 共同創辦人 Wojciech Zaremba 與 Dropbox 共同創辦人 Arash Ferdowsi 等知名人士。

Wafer 將自身定位為利用 AI 優化 AI 基礎設施的公司，並表示此次 GLM 5.2 的部分 Kernel 調校、命名衝突排查與最佳化工作，都已大量導入 AI 輔助工程。

相較過去為了提升效能仍需自行開發客製化 Kernel，如今更多工作已轉向修補官方工具鏈中的細節，代表 AMD 軟體生態正逐漸成熟。

AMD 軟體生態逐漸成熟

Wafer 指出，過去若每次模型發布都必須重新開發底層 Kernel，小型團隊幾乎無法跟上市場節奏；如今官方工具鏈已能完成大部分工作，剩餘僅需修正相容性與最佳化細節，新創公司便有機會快速完成部署，這也是 Wafer 能在模型發布後短時間內完成適配的重要原因。

Wafer 認為，目前頂尖模型能否順利部署到 AMD 平台，愈來愈取決於官方軟體支援速度，而非硬體本身，CUDA 長期建立的軟體優勢正逐步受到挑戰。

事實上，SemiAnalysis 今年稍早針對 GLM-5 的測試也得到類似結果。報告指出，在互動式推理場景下，AMD MI355X 每百萬 token 推理成本約為 0.22 美元，低於輝達 B200 的 0.30 美元，主要原因除了硬體整體擁有成本較低，也反映 AMD 軟體最佳化已有明顯進展。

不過，目前 AMD 的優勢仍主要集中於單節點部署。在多節點、大規模分散式叢集以及跨機專家並行等企業級應用方面，輝達仍保有明顯領先優勢。

若未來雲端業者能持續將 Wafer 的最佳化方式複製到更多開源模型，AI 推理成本仍有望持續下降，也將進一步提升開源模型在市場上的競爭力。