OpenAI的定製Jalapeño晶片實現業界領先的AI推理速度與效率 ——而且是由人工智慧構建的

OpenAI 公布了其自研 AI 推理晶片「Jalapeño」的首批性能測試結果，顯示該晶片在吞吐量和延遲方面均顯著優於市面上的主流商用替代產品。 該晶片在單位功耗下可處理更多AI任務，同時響應速度更快——現有硬體系統通常需要權衡取捨才能實現這一組合——而其開發過程本身也得益於OpenAI自有AI模型的加速。

要點

• 在公開基準測試中，Jalapeño在峰值吞吐量下的每瓦AI運算量比對比系統高出1.5至1.9倍，端到端延遲比對比系統低1.7至3.6倍

• 對於高度交互型工作負載，其性能比對比系統高出2.1至4.1倍

• 性能已在GPT-OSS 120B、 DeepSeek R1 670B 以及 Kimi K2.5 1T 等模型上進行了驗證——這證明該架構在 OpenAI 內部和外部構建的模型中均能有效運行

• 在 Kimi K2.5 1T（測試中最大的公開模型）上 ——Jalapeño的每瓦峰值性能約高出1.5倍，端到端延遲降低了3.4倍

• AI在Jalapeño"的開發中發揮了直接作用，使團隊得以在九個月內從初始設計推進到流片

• 對於選定的注意力機制和專家混合模塊， AI生成的實現運行速度比現有由人類專家編寫的代碼快1.5至1.8倍

• OpenAI計劃於2026年底前開始在其計算基礎設施中部署Jalapeño，目前第二代產品已進入深入開發階段，第三代產品也初具雛形

什麼是Jalapeño以及它為何重要

Jalapeño是OpenAI的首款定製推理晶片——該晶片是從零開始設計的，專門針對服務現代及未來語言模型（尤其是交互式智能體）的特定需求而打造。 OpenAI 並未將通用加速器改編用於 AI 推理工作負載，而是圍繞真實的語言模型行為，將晶片、內存、網路、軟體和機架級系統進行整體設計。

這對性能的影響是巨大的。 當前的 AI 加速器面臨着吞吐量（系統每單位時間可完成的工作量）與延遲（單個請求獲得響應的速度）之間的根本矛盾。 通常，要最大化其中一項，就必須犧牲另一項。Jalapeño 同時在兩方面都實現了提升，使其處於 OpenAI 所描述的「帕累托最優線」上：在測試的運行範圍內，其每瓦性能與延遲的組合優於任何同類系統。

該晶片的額定功率為700瓦，但在測試工作負載下，其持續功耗維持在550瓦或以下——這一差距促成了報告中的能效數據，因為每瓦性能是根據實際測得的功耗而非額定功率計算得出的。

性能背後的架構

Jalapeño背後的設計理念源於一個具體的問題： 如果硬體的主要任務是服務於現代及未來的語言模型，會構建怎樣的硬體？

語言模型推理經歷兩個截然不同的階段，各自存在不同的性能瓶頸。預填充階段——即處理輸入提示——計算強度極高。 解碼階段——逐個令牌生成響應——主要受內存帶寬的限制。 針對其中一個階段進行優化的系統，通常會在等待另一個階段時失去其優勢，因為數據在處理單元之間傳輸，而這些處理單元必須等到數據到達後才能繼續運行。

Jalapeño 的設計旨在最大限度地減少這種數據行動。 模型狀態（包括響應生成過程中使用的鍵值緩存）可以被顯式地放置並保存在本地，從而使系統能夠為每個階段激活計算、內存和網路的恰當組合，而無需承受資源間數據傳輸帶來的延遲。 網路是該架構不可或缺的一部分，而非外部組件——一個龐大的統一域使整個工作負載能夠保留在一個互聯繫統內，從而確保請求從始至終都快速高效。

其結果正是 OpenAI 所描述的「平衡且可互換的加速器」——它能夠支持不斷變化的模型架構，在兩個推理階段均表現出色，並能隨著兩者之間平衡的變化而靈活適應——OpenAI 認為這一特性對於代理型工作負載尤為寶貴，因為在該類工作負載中，多個順序步驟會累積每個步驟的延遲。

AI 不僅設計了晶片，還為其編寫程序

Jalapeño 開發過程中最具技術震撼力的一點，在於 OpenAI 自身的人工智慧模型在其中發揮了多大程度的參與作用。

AI 在設計過程中發揮了直接作用，通過探索實現方案、縮短設計、測量和驗證循環，以及對模型工作負載進行持續迭代，使團隊得以在九個月內從初始設計推進到流片。 AI 還幫助優化了晶片的算術電路，使晶片能夠按計劃集成更高的計算性能。 對於定製晶片的開發時間表而言，從設計到流片僅用九個月的時間是非常快的。

使 Jalapeño 高效運行的架構選擇，也使其更易於通過 AI 進行編程。 該晶片被設計為一個清晰、可預測的編程目標——工程師通過局部張量、顯式通信和可預測的同步來描述工作，從而創建了一種結構，AI 可以據此優化整個系統中的布局、調度和協調。

OpenAI 團隊利用 Codex 與 GPT-Astra，在兩個月內將三個原本未列入 Jalapeño 初始生產計劃的開放權重模型推向了高性能水平。 在選定的注意力機制和專家混合模塊中，AI生成的實現代碼運行速度比現有由人類專家編寫的實現代碼快1.5到1.8倍。OpenAI指出，這些數據僅適用於選定的模塊而非完整模型，但它們預示着一種開發循環：AI正日益加速AI基礎設施的編程進程。

Jalapeño在TBT測試中刷新曆史最佳成績，進一步擴大領先優勢

混合令牌吞吐量與現有加速器"的最快解碼速度

Jalapeño 為每位用戶提供更多令牌

三個模型系列中的峰值每用戶解碼吞吐量

Jalapeño 每千瓦的吞吐量更高

各平台在「最佳工作點」下的混合代幣峰值吞吐量

公開模型的性能表現

OpenAI 在 InferenceX 上對 Jalapeño 進行了測試——這是 SemiAnalysis 提供的一個公開基準測試，用於衡量處理 AI 推理請求的完整流程——並在整個測試工作範圍內將其與領先的商用 AI 加速器系統進行了對比。

在所測試的全部三個公開模型——GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T ——Jalapeño在峰值吞吐量下，每瓦特的人工智慧工作量提高了1.5至1.9倍，端到端延遲降低了1.7至3.6倍。 對於高度交互、低延遲的工作負載，其性能比對比系統高出 2.1 到 4.1 倍。

Kimi K2.5 1T 的測試結果尤為引人注目，因為它是測試集中規模最大的公開模型。 在該工作負載下，Jalapeño 每瓦特峰值性能提高了約 1.5 倍，端到端延遲降低了 3.4 倍。OpenAI 還報告稱，在測試過程中，Jalapeño 相對於內部前沿模型的優勢進一步擴大——這表明隨著模型規模和工作負載複雜度的增加，該架構的價值將更加凸顯。

將 DeepSeek R1 和 Kimi K2.5 納入基準測試集，是一個有意的信號： Jalapeño 架構不僅適用於 OpenAI 內部開發的模型，也適用於外部開發的模型，這驗證了該晶片在不同模型家族中的靈活性。

這在商業和戰略層面的意義

AI領域定製晶片的商業價值不言而喻： 在相同功耗和硬體條件下完成更多有價值的工作，可降低提供AI能力的成本，從而使產出和收入的增長速度超過服務成本的增長。 對於據稱計劃以超過8500億美元估值進行IPO的OpenAI而言，基礎設施層面的營運槓桿效應是除性能提升之外另一項重要的財務考量因素。

更快的推理速度還催生了新的應用場景。 基於代理的工作流中，多個順序進行的人工智慧步驟必須足夠快速地完成才能保持實用性，而這種工作流直接受限於每步的延遲，這是批處理所不具備的。一款在高度交互型工作負載上性能提升2.1至4.1倍的晶片，為當前現有推理基礎設施無法支持的代理應用開闢了可能性。

OpenAI 還指出，在部署 Jalapeño 的同時，公司將繼續廣泛採用 NVIDIA 及其他合作夥伴的加速器來支持訓練和推理——將這款定製晶片定位為基礎設施堆棧的補充，而非取代現有合作關係。

下一步計劃

OpenAI 計劃於 2026 年底前開始在其計算基礎設施中部署 Jalapeño。 該公司目前正在完成生產認證、完善軟體棧、為大規模營運做準備，並針對更多模型驗證性能。

Jalapeño被描述為多代平台中的第一代。 第二代平台已進入深度開發階段，第三代平台也初具雛形。每一代平台都旨在基於前一代的經驗進行構建，其明確目標是在模型需求持續增長的背景下，同時提升效率和速度。

該晶片體現了更廣泛的全棧戰略：能夠利用真實工作負載數據，將模型、產品、服務軟體、晶片、內存、網路和系統進行協同設計，從而同步優化每一層。 這種集成優勢能否像蘋果在消費級晶片領域以及谷歌在 TPU 項目中所展現的那樣，隨著晶片代際更迭而不斷放大——這將成為未來幾年人工智慧基礎設施領域最具決定性的問題之一。

來源

OpenAI Jalapeño性能公告及技術文檔，2026年8月。 InferenceX基準測試方法論，SemiAnalysis。OpenAI關於Jalapeño晶片架構、內存設計及開發時間線的部落格文章，2026年8月。Codex和GPT-Astra開放權重模型優化參考，OpenAI，2026年8月。

來源：金色財經

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。