從 Prompt 到上線：Vercel 如何吃下 AI 時代的部署紅利

1. 推理的發展歷程

2024 年之前，AI 領域主要專注於訓練規模更大、性能更強的模型。2019 年 11 月發布的 GPT-2「只有」15 億參數，而 2022 年 11 月推出的 GPT-3 則暴增至「龐大的」1,750 億參數。然而，GPT-3 在處理複雜指令、可靠計算和長鏈條邏輯問題時往往表現不佳。

直到 2024 年 GPT-4o1 模型問世，人們才開始意識到，高性能模型可以通過在輸出答案前進行多步邏輯分析來實現推理。

這也表明，增加參數量並非提升模型能力的唯一路徑：在推理階段分配更多計算資源，同樣能夠改善複雜任務的表現。

然而，推理需要更多的推理時計算，因此會帶來更高的延遲和成本。如何在不犧牲推理性能的前提下降低延遲，遂成為一項重要的工程挑戰。

隨著智能體系統興起，這一挑戰變得更加突出——單個任務可能會反覆調用模型與工具。OpenClaw 在 2026 年 1 月的迅速普及進一步凸顯了這一趨勢。因此，市場對推理優化的關注持續提升，vLLM、SGLang 等開源推理引擎也日益流行。

2. 推理產業棧與市場圖譜

AI 推理棧的價值鏈可以分為七層，從面向用戶的應用一直延伸到底層 GPU 硬體。

許多人會混淆路由層與推理平台之間的界限，因為兩者看起來都為開發者提供可調用的 API 端點。但它們底層的商業模式截然不同。OpenRouter 本身並不擁有算力，而是在底層服務之上收取約 5% 的代幣路由服務費。它通常聚合 Fireworks、Together AI 和 Baseten 等多家推理平台。

這是一個典型的平台型商業模式，其路徑與 OpenSea 類似：一方面充當新發布、通常來源未公開模型（例如 Ox-Alpha，即 GLM 5.3 Flash）的發現層，另一方面作為推理服務商的分發平台。如果供需雙方都在 OpenRouter 上形成規模，理論上它應當能夠為特定模型提供最高效的價格發現。

Stripe 以超過 70 億美元收購 OpenRouter 的原因很直接：Stripe 已經掌握了 AI 應用的收入端，如今希望進一步掌握其成本端。Ramp 也意識到了這一點，並建立了自己的 Router.com 業務。

資本流與智能流開始趨於融合。它們押注未來幾年 AI 原生和 AI 驅動型企業將快速增長，因此，同時掌控收入端與成本端的控制層，對維持其支付網關的主導地位至關重要。

推理市場本身是一個寬泛的類別。根據以下四項屬性，可以將市場劃分為四個象限：

算力所有權：外部擁有的算力 vs. BOYC（自帶算力）

面向企業還是開發者的 GTM 策略

硬體要求

開源 vs. 閉源

▲ 推理市場圖譜涵蓋雲端推理、本地軟體、客戶自有算力編排，以及去中心化消費級硬體。SGLang 同時出現在託管推理和私有化部署兩個象限；在右上象限中，它與其商業平台 RadixArk 相連接。PrismML 位於自託管邊緣推理板塊。

大多數推理公司起步於開源項目，隨後為了實現商業化而逐漸發展為專有公司。

Fireworks 與 RadixArk 的創始團隊展現了 AI 基礎設施領域反覆出現的一種商業化路徑。Fireworks CEO Lin Qiao 曾在 Meta 領導 PyTorch 項目，聯合創始人 Dmytro Dzhulgakov 則是 PyTorch 的最初創建者之一。Fireworks 並未直接將 PyTorch 商業化，而是把團隊在分布式系統、GPU 內核和開發者基礎設施方面的經驗，轉化為圍繞開放權重模型構建的專有推理棧，其中包括 FireAttention、FireOptimizer 和託管式多雲部署。

RadixArk 則體現了更直接的「開源到商業」轉型。它由 SGLang 的創建者和核心維護者創立。SGLang 繼續作為開源服務引擎和社區分發層，而 RadixArk 則通過託管基礎設施、可靠性工具、企業支持，以及面向強化學習後訓練的 Miles 框架，在其生產層實現商業化。

在這兩個案例中，開源既是技術標準，也是獲客渠道；商業公司則通過性能優化、營運可靠性、SLA 和企業集成來捕獲價值。這種模式可以帶來強大的分發能力，但底層引擎仍面臨商品化風險。因此，真正可持續的護城河必須來自構建在開源項目之上的託管工作流與生產系統，而非開源項目本身。

垂直 AI 應用也開始向產業棧下游延伸。Harvey 最初依賴前沿模型 API，但如今已開始針對法律工作對 Harvey Tenet 等開放權重模型進行後訓練，並建設基礎設施，讓各家律所能夠擁有自己的專用模型。Genspark 仍在編排 70 多個外部模型，但也開始利用專有使用數據訓練特定任務模型：Gen-1 Slides 利用大規模演示文稿生成中的反饋完成訓練，其 Deep Research Agent 則通過 Fireworks 上的強化微調得到優化。

這並不意味著每一家應用公司都會成為基礎模型實驗室。相反，擁有專有數據且推理規模足夠大的應用公司，可以選擇性地將高頻工作負載內部化。訓練或後訓練專用模型，能夠帶來更好的垂直領域表現、更低的邊際推理成本，並減少對上游模型提供商的依賴；與此同時，前沿模型仍可繼續處理複雜任務或長尾需求。

3. 推理代幣經濟學

僅看 Token 單價無法準確反映推理經濟性。更好的指標是：在達到所需質量水平的前提下，綜合考慮模型能力、GPU 利用率、延遲與可靠性之後的單個已完成任務成本。

閉源模型與開放權重模型的經濟性

閉源模型通過訂閱、用量額度和按量計費 API 實現商業化。訂閱通常提供有限額度，而非固定數量的 Token；因此，額度耗盡後，API 價目表仍是真正的邊際價格。

開放權重模型提供了另外兩種選擇：多家 API 託管商之間的競爭，以及在租用或自有 GPU 上進行自託管。在能力區間重疊時，服務商競爭與硬體可遷移性可以使開放權重模型的推理成本顯著降低。閉源模型仍主導絕對能力前沿，並且對低用量、突髮型或對 SLA 敏感的工作負載仍具吸引力。

利用率比最新 GPU 更重要

只有當硬體利用率足夠高時，自託管才具備經濟性。每 Token 成本大致可表示為：

最新的 GPU 並不一定是成本最低的選擇。稠密、延遲敏感型模型可能受益於 H100 或 Blackwell；而稀疏或 MoE 工作負載在較舊的 A100 上運行，反而可能更經濟。Ornn 的分析顯示，工作負載形態與有效利用率可能會逆轉人們對硬體排名的直覺，從而延長舊款 GPU 的經濟壽命。

以上數據基於 Ornn Data 2026 年 9 月的快照與建模假設，僅具有方向性，並非通用基準。

核心結論

衡量單位智能成本，而非單位 Token 成本。

當能力足以滿足需求時，開放權重模型會壓低價格。

閉源 API 在能力前沿，以及便利性或可靠性方面仍保有定價權。

路由之所以有價值，是因為不同任務對應的最低成本模型與硬體並不相同。

推理價格將持續下降，但智能體工作負載帶來的 Token 總需求增長，可能快於單位成本的下降速度。

4. 最新推理趨勢

AI 推理正走向混合架構。前沿推理和大規模工作負載仍將留在數據中心，而規模較小、重複性高、隱私敏感且對延遲要求高的任務，將越來越多地在 PC、工作站、手機和邊緣設備上運行。

以下三大趨勢正在推動這一轉變：

推理需求增加：推理模型每次回答消耗更多計算，而智能體會反覆調用模型與工具。

開放權重模型進步：能力較強的模型如今可以下載並自託管，不再只能通過雲端 API 訪問。

效率提升：量化、蒸餾、推測解碼和低比特模型降低了內存與算力需求。例如，PrismML 表示其 1-bit Bonsai 8B 模型僅占用約 1GB 內存，而 FP16 版本約需 16GB。

JEPA 及類似架構通過預測抽象表征，而非重建每一個像素，可能進一步減少不必要的計算。然而，它們仍然需要推理。正確的結論是推理成本降低，而非不再需要推理。

本地與邊緣推理

本地推理正在從愛好者場景走向更廣泛的實用應用。最適合的用例是高頻且對隱私敏感的工作負載，例如個人智能體、會議轉錄、文檔搜尋、編程輔助、計算機視覺和機器人。

其優勢十分明確：

更低延遲，並支持離線使用

對私有數據擁有更強控制力

購買硬體後不再產生邊際 API 成本

對穩定工作負載而言，經濟性更可預測

主要限制在於：在一台設備上運行模型很容易，但管理大量設備卻很困難。企業仍然需要跨不同 Mac、PC 和 GPU 實現路由、身份驗證、模型更新、日誌、監控和故障切換。

這正是Actual Computer所瞄準的機會：客戶擁有硬體，而 Actual 提供運行時、API、中繼與設備集群管理層。最終形態很可能不是本地取代雲端，而是混合路由——簡單且私密的任務在本地運行，複雜任務則發送至雲端前沿模型。

AI PC 與硬體換機周期

AI 推理可能帶來一輪可觀的 PC 換機周期。Gartner 預計，AI PC 出貨量將從 2025 年的 7,780 萬台增至 2026 年的 1.431 億台。

然而，僅憑 NPU TOPS 並不能判斷一台 PC 是否可以運行實用的本地 AI。完整系統才是關鍵：

NPU：低功耗、常駐型功能與小模型

GPU：更大的生成式模型與更高吞吐量的工作負載

CPU：編排與通用兼容性

內存：往往是制約模型規模和上下文長度的關鍵因素

Apple 的優勢在於統一內存，NVIDIA 的優勢來自 CUDA 及其推理軟體生態，Windows AI PC 則擁有廣泛的 OEM 分銷網路。在中國，聯想可以向龐大的企業客戶群分銷支持 AI 的 ThinkPad 和工作站；華為則圍繞昇騰硬體、CANN/MindIE，以及與 PyTorch、Triton 和 vLLM 的集成，構建國產技術棧。

來源：金色財經

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。