強化學習：去中心化 AI 網路的範式變遷

作者：0xjacobzhao 來源：X，@0xjacobzhao

本獨立研報由IOSG Ventures支持，研究與寫作過程受 Sam Lehman（Pantera Capital） 強化學習研報的啟發，感謝 Ben Fielding (Gensyn.ai), Gao Yuan(Gradient), Samuel Dare & Erfan Miahi (Covenant AI), Shashank Yadav (Fraction AI), Chao Wang 對本文提出的寶貴建議。本文力求內容客觀準確，部分觀點涉及主觀判斷，難免存在偏差，敬請讀者予以理解。

人工智慧正從以「模式擬合」為主的統計學習，邁向以「結構化推理」為核心的能力體系，後訓練（Post-training）的重要性快速上升。DeepSeek-R1 的出現標誌着強化學習在大模型時代的範式級翻身，行業共識形成：預訓練構建模型的通用能力基座，強化學習不再只是價值對齊工具，而被證明能夠系統提升推理鏈質量與複雜決策能力，正逐步演化為持續提升智能水平的技術路徑。

與此同時，Web3 正通過去中心化算力網路與加密激勵體系重構 AI 的生產關係，而強化學習對 rollout 採樣、獎勵信號與可驗證訓練的結構性需求，恰與區塊鏈的算力協作、激勵分配與可驗證執行天然契合。本研報將系統拆解 AI 訓練範式與強化學習技術原理，論證強化學習 × Web3 的結構優勢，並對 Prime Intellect、Gensyn、Nous Research、Gradient、Grail 和 Fraction AI 等項目進行分析。

一. AI 訓練的三階段：預訓練、指令微調與後訓練對齊

現代大語言模型（LLM）訓練全生命周期通常被劃分為三個核心階段：預訓練（Pre-training）、監督微調（SFT）和後訓練（Post-training/RL）。三者分別承擔「構建世界模型—注入任務能力—塑造推理與價值觀」的功能，其計算結構、數據要求與驗證難度決定了去中心化的匹配程度。

• 預訓練（Pre-training） 通過大規模自監督學習（Self-supervised Learning）構建模型的語言統計結構與跨模態世界模型，是 LLM 能力的根基。此階段需在兆級語料上以全局同步方式訓練，依賴數千至數萬張 H100 的同構集群，成本占比高達 80–95%，對帶寬與數據版權極度敏感，因此必須在高度集中式環境中完成。

• 微調（Supervised Fine-tuning）用於注入任務能力與指令格式，數據量小、成本占比約 5–15%，微調既可以進行全參訓練，也可以採用參數高效微調（PEFT）方法，其中 LoRA、Q-LoRA 與 Adapter 是工業界主流。但仍需同步梯度，使其去中心化潛力有限。

• 後訓練（Post-training）由多個迭代子階段構成，決定模型的推理能力、價值觀與安全邊界，其方法既包括強化學習體系（RLHF、RLAIF、GRPO）也包括無 RL 的偏好優化方法（DPO），以及過程獎勵模型（PRM）等。該階段數據量與成本較低（5–10%），主要集中在 Rollout 與策略更新；其天然支持異步與分布式執行，節點無需持有完整權重，結合可驗證計算與鏈上激勵可形成開放的去中心化訓練網路，是最適配 Web3 的訓練環節。

二. 強化學習技術全景：架構、框架與應用

2.1 強化學習的系統架構與核心環節

強化學習（Reinforcement Learning, RL）通過「環境交互—獎勵反饋—策略更新」驅動模型自主改進決策能力，其核心結構可視為由狀態、動作、獎勵與策略構成的反饋閉環。一個完整的 RL 系統通常包含三類組件：Policy（策略網路）、Rollout（經驗採樣）與 Learner（策略更新器）。策略與環境交互生成軌跡，Learner 根據獎勵信號更新策略，從而形成持續迭代、不斷優化的學習過程：

2.2 強化學習階段框架（RLHF → RLAIF → PRM → GRPO）

強化學習通常可分為五個階段，整體流程如下所述：

數據生成階段（Policy Exploration）：在給定輸入提示的條件下，策略模型 πθ 生成多條候選推理鏈或完整軌跡，為後續偏好評估與獎勵建模提供樣本基礎，決定了策略探索的廣度。

偏好反饋階段（RLHF / RLAIF）：

• RLHF（Reinforcement Learning from Human Feedback）通過多候選回答、人工偏好標註、訓練獎勵模型（RM）並用 PPO 優化策略，使模型輸出更符合人類價值觀，是 GPT-3.5 → GPT-4 的關鍵一環

• RLAIF（Reinforcement Learning from AI Feedback）以 AI Judge 或憲法式規則替代人工標註，實現偏好獲取自動化，顯著降低成本並具備規模化特性，已成為 Anthropic、OpenAI、DeepSeek 等的主流對齊範式。

獎勵建模階段（Reward Modeling）：偏好對輸入獎勵模型，學習將輸出映射為獎勵。RM 教模型「什麼是正確答案」，PRM 教模型「如何進行正確推理」。

• RM（Reward Model）用於評估最終答案的好壞，僅對輸出打分：

• 過程獎勵模型 PRM（Process Reward Model）它不再只評估最終答案，而是為每一步推理、每個 token、每個邏輯段打分，也是 OpenAI o1 與 DeepSeek-R1 的關鍵技術，本質上是在「教模型如何思考」。

獎勵驗證階段（RLVR / Reward Verifiability）：在獎勵信號生成與使用過程中引入「可驗證約束」，使獎勵儘可能來自可復現的規則、事實或共識，從而降低 reward hacking 與偏差風險，並提升在開放環境中的可審計性與可擴展性。

策略優化階段（Policy Optimization）：是在獎勵模型給出的信號指導下更新策略參數 θ，以得到更強推理能力、更高安全性與更穩定行為模式的策略 πθ′。主流優化方式包括：

• PPO（Proximal Policy Optimization）： RLHF 的傳統優化器，以穩定性見長，但在複雜推理任務中往往面臨收斂慢、穩定性不足等侷限。

• GRPO（Group Relative Policy Optimization）：是 DeepSeek-R1 的核心創新，通過對候選答案組內優勢分布進行建模以估計期望價值，而非簡單排序。該方法保留了獎勵幅度資訊，更適合推理鏈優化，訓練過程更穩定，被視為繼 PPO 之後面向深度推理場景的重要強化學習優化框架。

• DPO（Direct Preference Optimization）：非強化學習的後訓練方法：不生成軌跡、不建獎勵模型，而是直接在偏好對上做優化，成本低、效果穩定，因而被廣泛用於 Llama、Gemma 等開源模型的對齊，但不提升推理能力。

新策略部署階段（New Policy Deployment）：經過優化後的模型表現為：更強的推理鏈生成能力（System-2 Reasoning）、更符合人類或 AI 偏好的行為、更低的幻覺率、更高的安全性。模型在持續迭代中不斷學習偏好、優化過程、提升決策質量，形成閉環。

2.3 強化學習的產業應用五大分類

強化學習（Reinforcement Learning）已從早期的博弈智能演進為跨產業的自主決策核心框架，其應用場景按照技術成熟度與產業落地程度，可歸納為五大類別，並在各自方向推動了關鍵突破。

• 博弈與策略系統（Game & Strategy）：是 RL 最早被驗證的方向，在 AlphaGo、AlphaZero、AlphaStar、OpenAI Five 等「完美資訊 + 明確獎勵」的環境中，RL 展示了可與人類專家比肩甚至超越的決策智能，為現代 RL 算法奠定基礎。

• 機器人與具身智能（Embodied AI）：RL 通過連續控制、動力學建模與環境交互，使機器人學習操控、運動控制和跨模態任務（如 RT-2、RT-X），正快速邁向產業化，是現實世界機器人落地的關鍵技術路線。

• 數字推理（Digital Reasoning / LLM System-2）：RL + PRM 推動大模型從「語言模仿」走向「結構化推理」，代表成果包括 DeepSeek-R1、OpenAI o1/o3、Anthropic Claude 及 AlphaGeometry，其本質是在推理鏈層面進行獎勵優化，而非僅評估最終答案。

• 自動化科學發現與數學優化（Scientific Discovery）：RL 在無標籤、複雜獎勵與巨大搜尋空間中尋找最優結構或策略，已實現 AlphaTensor、AlphaDev、Fusion RL 等基礎突破，展現出超越人類直覺的探索能力。

• 經濟決策與交易系統（Economic Decision-making & Trading）：RL 被用於策略優化、高維風險控制與自適應交易系統生成，相較傳統量化模型更能在不確定環境中持續學習，是智能金融的重要構成部分。

三. 強化學習與 Web3 的天然匹配

強化學習（RL）與 Web3 的高度契合，源於二者本質上都是「激勵驅動系統」。RL 依賴獎勵信號優化策略，區塊鏈依靠經濟激勵協調參與者行為，使兩者在機制層面天然一致。RL 的核心需求——大規模異構 Rollout、獎勵分配與真實性驗證——正是 Web3 的結構優勢所在。

推理與訓練解耦：強化學習的訓練過程可明確拆分為兩個階段：

• Rollout ( 探索採樣 )：模型基於當前策略生成大量數據，計算密集型但通信稀疏型的任務。它不需要節點間頻繁通信，適合在全球分布的消費級 GPU 上並行生成。

• Update ( 參數更新 )：基於收集到的數據更新模型權重，需高帶寬中心化節點完成。

「推理—訓練解耦」天然契合去中心化的異構算力結構：Rollout 可外包給開放網路，通過代幣機制按貢獻結算，而模型更新保持集中化以確保穩定性。

可驗證性 (Verifiability)：ZK 與 Proof-of-Learning 提供了驗證節點是否真實執行推理的手段，解決了開放網路中的誠實性問題。在代碼、數學推理等確定性任務中，驗證者只需檢查答案即可確認工作量，大幅提升去中心化 RL 系統的可信度。

激勵層，基於代幣經濟的反饋生產機制：Web3 的代幣機制可直接獎勵 RLHF/RLAIF 的偏好反饋貢獻者，使偏好數據生成具備透明、可結算、無需許可的激勵結構；質押與削減（Staking/Slashing）進一步約束反饋質量，形成比傳統眾包更高效且對齊的反饋市場。

多智能體強化學習（MARL）潛力：區塊鏈本質上是公開、透明、持續演化的多智能體環境，帳戶、合約與智能體不斷在激勵驅動下調整策略，使其天然具備構建大規模 MARL 實驗場的潛力。儘管仍在早期，但其狀態公開、執行可驗證、激勵可編程的特性，為未來 MARL 的發展提供了原則性優勢。

四. 經典 Web3 + 強化學習項目解析

基於上述理論框架，我們將對當前生態中最具代表性的項目進行簡要分析：

Prime Intellect: 異步強化學習範式 prime-rl

Prime Intellect 致力於構建全球開放算力市場，降低訓練門檻、推動協作式去中心化訓練，並發展完整的開源超級智能技術棧。其體系包括：Prime Compute（統一雲 / 分布式算力環境）、INTELLECT 模型家族（10B–100B+）、開放強化學習環境中心（Environments Hub）、以及大規模合成數據引擎（SYNTHETIC-1/2）。

Prime Intellect 核心基礎設施組件 prime-rl 框架專為異步分布式環境設計與強化學習高度相關，其餘包括突破帶寬瓶頸的 OpenDiLoCo 通信協議、保障計算完整性的 TopLoc 驗證機制等。

Prime Intellect 核心基礎設施組件一覽

技術基石：prime-rl 異步強化學習框架

prime-rl 是 Prime Intellect 的核心訓練引擎，專為大規模異步去中心化環境設計，通過 Actor–Learner 完全解耦實現高吞吐推理與穩定更新。執行者 (Rollout Worker) 與 學習者 (Trainer) 不再同步阻塞，節點可隨時加入或退出，只需持續拉取最新策略並上傳生成數據即可：

• 執行者 Actor (Rollout Workers)：負責模型推理和數據生成。Prime Intellect 創新性地在 Actor 端集成了 vLLM 推理引擎 。vLLM 的 PagedAttention 技術和連續批處理（Continuous Batching）能力，使得 Actor 能夠以極高的吞吐量生成推理軌跡。

• 學習者 Learner (Trainer)：負責策略優化。Learner 從共享的經驗回放緩衝區（Experience Buffer）中異步拉取數據進行梯度更新，無需等待所有 Actor 完成當前批次。

• 協調器 (Orchestrator)：負責調度模型權重與數據流。

prime-rl 的關鍵創新點：

• 完全異步（True Asynchrony）：prime-rl 摒棄傳統 PPO 的同步範式，不等待慢節點、無需批次對齊，使任意數量與性能的 GPU 都能隨時接入，奠定去中心化 RL 的可行性。

• 深度集成 FSDP2 與 MoE：通過 FSDP2 參數切片與 MoE 稀疏激活，prime-rl 讓百億級模型在分布式環境中高效訓練，Actor 僅運行活躍專家，大幅降低顯存與推理成本。

• GRPO+（Group Relative Policy Optimization）：GRPO 免除 Critic 網路，顯著減少計算與顯存開銷，天然適配異步環境，prime-rl 的 GRPO+ 更通過穩定化機制確保高延遲條件下的可靠收斂。

INTELLECT 模型家族：去中心化 RL 技術成熟度的標誌

• INTELLECT-1（10B，2024 年 10 月）首次證明 OpenDiLoCo 能在跨三大洲的異構網路中高效訓練（通信占比