挑戰輝達霸主地位 SambaNova稱SN40L晶片推理表現是H100數倍

近日，在 Hot Chips 2024 大會上，美國 AI 晶片新創公司 SambaNova 首次詳細介紹了其 AI 晶片系統—基於可重構資料流單元 (RDU) 的 AI 晶片 SN40L。

據媒體報導，基於 SambaNova 的 SN40L 的 8 晶片系統，可以為 5 兆參數模型提供支持，單一系統節點上的序列長度可達 256k+。對比輝達 (NVDA-US) 的 H100 晶片，SN40L 不僅推理性能達到了 H100 的 3.1 倍，在訓練性能也達到了 H100 的 2 倍，總擁有成本卻僅有其 1/10。

2023 年 9 月，SambaNova 推出了這款新型 AI 晶片 SN40L。該晶片專為運行企業應用程式的大型語言模型而構建，其設計目標是能承載 ChatGPT 高級版本兩倍容量以上的大模型。 

報導稱，全新 SambaNova SN40L“Cerulean” 架構。這是台積電的 5 奈米晶片，具有三層內存，非常簡潔。它也是一種資料流架構，被設計為訓練和推理晶片。

三層記憶體均為 520MB 的片上 SRAM。然後就有 64GB 的 HBM。 然後還有額外的 DDR 記憶體作為容量層。

實際應用中，SN40L 在生成文字、處理影像以及運行大規模 AI 模型時表現出色。尤其在生成自然語言方面，每秒可以高達 1100 個 Token 的生成速度，大幅提升了 AI 應用的效率。

SambaNova Systems 是一家位於美國加州的新創公司，專注於人工智慧晶片和數據分析軟體的開發。該公司成立於 2017 年，由業界知名人士創立，旨在透過軟硬體結合的方式提供一整套解決方案，幫助企業客戶在 AI 領域取得突破。

相關資訊顯示，SambaNova Systems 在 2019 年春季籌集了 1.5 億美元的 D 輪融資，由軟銀投資主導。該公司在 2021 年 4 月又籌集了 6.78 億美元的 D 輪融資。截至 2023 年，SambaNova Systems 已經籌集了超過 11 億美元的風險投資。