Close the Loop：Verification是AI加速物理世界的關鍵

演講者：Ted Xiao（Prometheus 創始技術成員、前 Google DeepMind 研究員）

編譯：Haozhen ⁠

如果 AGI 和通用機器人都取得成功，一個物質豐富、全人類都能受益的世界，是否就會自然到來？

Ted Xiao（Prometheus 創始技術成員、前 Google DeepMind 研究員）在 Humanoid Hub Conference 的演講中，從這個假設出發，分析了新技術從構想到量產的過程：即使智能和勞動能力都變得充裕，哪些環節仍會拖慢研發和生產？又有哪些研究和商業機會值得提前投入？

在他看來：

• 按 Amdahl 定律，如果一半時間花在無法加速的環節，其餘工作再快，總耗時也最多減半。

• Verification 決定模型 post-training 的上限。

• 如果 verifier 有漏洞，模型可能學會利用漏洞拿高分，實際表現不一定變好。

• Verifier 也要接受檢驗，遇到歷史數據沒覆蓋的新設計，仍要用實測結果檢驗它的判斷。

• 開發團隊要到現場弄清什麼算合格，據此設計 verifier，再用有限的實測檢驗和改進它。

我們編譯了 Ted Xiao 的這場演講。他談到的 verification 瓶頸，也正是我們看好 AI for Science、機器人和硬體製造的原因之一。隨著 AI 能力的增強，雖然模型可以更快地提出方案，但要知道方案能不能用，往往還得做真實的實驗和工程測試，而模型變強很難直接加快這些測試。

⁠/⁠

01.AGI 和通用機器人都實現後，還缺什麼？

現在的研究與投資，大致集中在兩個方向：一端是比特（Bits），另一端是原子（Atoms）。在矽谷甚至全球都能看到這個趨勢，這兩個方向的技術進展也很快。

• Bits 端是 AGI 支持者，希望在數據中心裡建起一個「天才之國」，先造出 AGI，再讓 AGI 解決其他問題。

• Atom 端關注 robot learning、與物體接觸時的靈巧操作，以及通用機器人的普及。

如果假設 AGI 和通用機器人都能成功，那麼為 post-AGI 社會做準備時，還需要考慮它們之間缺少什麼：數字超級智能（digital superintelligence）怎樣才能真正改善生活質量，讓人們擁有更豐富的物質生活？

要回答這個問題，可以先看今天的物質生活是怎樣改善的。

技術進步一直在創造財富、推動社會繁榮、改善人的生活，其中很重要的一部分，就是發明新的物理世界技術（physical technology），並把它們真正做出來。我們今天享受的舒適生活，正是世界各地數百萬工程師、科學家、設計師，以及白領和藍領工人世世代代工作的成果。

具體來說，把一項構想做成能夠大規模生產和使用的產品，需要設計、工程開發、原型製作、投產前測試與認證、生產、逐步提高產量和擴大生產規模等環節。

判斷 AGI 和機器人之間還缺什麼，也需要把它們放進這套具體的工作流程中。但這條鏈條涉及設計、分析等腦力工作，實際操作中的體力勞動，以及資本投入，到底哪些能交給 AGI，哪些能交給通用具身智能（embodied intelligence），哪些還需要其他辦法解決？

根據 Ted Xiao 的分類，下圖中藍色的部分是抽象、數字化的工作，僅在數字環境中工作的 AI 模型已經表現出處理這類工作的能力。粉色的部分涉及接觸物體和靈巧操作，是通用機器人可以承擔的工作。

但即使數字 AGI 和機器人的靈巧性都達到很高水平，工程鏈條上仍有大量工作無法直接交給它們。無論是看 GDP、勞動市佔率、行業利潤率，還是不同領域的崗位數量，都能發現這一點。即使只是粗略列出這些工作，也會發現：獲得人類級的操作能力，並不意味著其餘工程問題會自動解決。

02.Amdahl"s Law：還沒有加速的環節決定整體加速上限

要讓所有人都能享有今天一部分人已經擁有的豐富物質生活，要提高每個人的生活質量，就必須逐一解決這條鏈條上的問題。不能只加速其中一端，就假設其餘環節會自動跟上。

這些還沒能解決的環節，會影響一項技術或產品完成研發、驗證並實現規模化生產的速度。就像 Amdahl』s law 指出的那樣，一個程序即使有大量操作可以並行執行，整體速度仍然受制於那些必須按順序完成、無法同時進行的操作，創新和發明也有類似的限制。

如上圖所示，假設 p 表示可加速環節原本占總耗時的比例，s 表示這部分工作的加速倍數。我們已經看到，一些環節的 s 非常大後，所需時間大幅縮短，但無論局部快了多少倍，整體提速的上限仍取決於 p，也就是這些環節原本占用了多少時間。

圖中的灰色、橙色和藍色曲線，分別對應不同的可加速比例。假設能夠加速的工作占原有總耗時的 50%，（這已經比前面工程鏈條里展示的覆蓋範圍更廣），即使這部分工作變得無限快，整個過程的總耗時最多也只能縮短一半，也就是整體速度變為原來的兩倍。

當 p 接近 99%、99.9%，甚至更高時，研發、反覆改進並投入使用所需的總時間，才可能縮短到原來的十分之一、百分之一，甚至更少。

局部加速越快，還沒有被加速的部分就越容易成為整個研發和生產過程的瓶頸。

事實上，許多工作所需的時間很難進一步壓縮，背後的限制主要來自兩個方面：

一類限制來自測試本身需要的時間。

• 測試快充電池時，需要進行負載測試和充放電循環測試，整個過程往往超過一年半。

• 藥物研發從最初的構想、研究和報告，到三期臨床試驗，有時需要十年以上。考慮到人體對照試驗必須評估藥物的安全性、療效和副作用，這些實驗所需的時間是無法省去的。

• 即使經過漫長的測試，實驗的結果仍可能不穩定，難以重複得到。美國生物技術公司安進（Amgen）的研究團隊曾嘗試復現 53 項有影響力的癌症臨床前研究，最終僅成功復現 6 項，約占 11%。因此，即使是已經發表、看起來很有價值的研究，也不一定能提供穩定可靠的反饋。

另一個問題是，工程知識分散在不同企業、系統和崗位中。要加快更多環節，首先需要了解這些工作是怎麼做的。但這其中有些訣竅屬於企業的知識產權，有些留在從業者的經驗里，很難直接獲得。

值得關注的是，軟體開發在這方面其實是比較特殊的：代碼和版本歷史可以完整保存，程序是否按預期運行，也常有明確的規則和工具可供檢查。實體經濟同樣積累了大量工程知識，但打開 GitHub，我們找不到一套完整的資料，告訴我們人類是怎樣建造今天這個世界的。

03.Verification 決定模型 post-training 的上限

要進一步判斷哪些環節還能加速，可以先看 verification 需要多長時間。前面的電池和藥物研發例子都涉及同一個問題：我們要等多久，才能獲得可信的結果，來指導下一輪實驗？

在這個問題下，不同任務的答案差別很大，短則幾毫秒，長則數十年。

• 有些結果可以用模型或仿真檢驗，投入更多算力往往就能更快拿到反饋。因此增加 GPU、CPU 和資金，在這類任務中是有用的。這種情況下，雖然實現起來可能仍然很困難，但我們至少知道可以從哪裡着手加速。物理仿真、用 Lean 檢查形式化數學證明、代碼單元測試，以及部分設計任務，都屬於這類可以靠算力加速的工作。

• 但有些結果必須靠實測來檢驗。到了這個階段，驗證可能就需要數小時，甚至數年。

驗證所需的時間之所以重要，是因為模型需要依據驗證結果繼續學習。frontier model 研究中的經驗是，只要能明確、可靠地判斷結果是否符合要求，就可以用這些判斷作為獎勵，通過 RLVR（基於可驗證獎勵的強化學習）訓練模型，提高它在相應任務上的表現。

Microsoft AI 曾把自己的模型稱作一台「爬山機器」，這個比喻其實很貼切：只要能可靠判斷結果是否達標，模型就能朝着目標持續優化。

因此，verification 決定了 frontier model 在 post-training 階段能達到的水平，數學、coding 等領域都體現了這一點。

不過，研究者用來訓練模型的獎勵和驗證結果，本身也可能有問題：負責檢查結果、給出反饋的程序或模型，也就是這裡所說的 verifier，如果它有漏洞，模型就可能利用漏洞取得更高分數。訓練越充分，這些缺陷的影響也可能越大。

04.機器人訓練：依靠仿真，還是依靠真實數據？

在物理世界中，能否獲得快速、可靠的反饋，同樣會影響研究方法。

機器人訓練就是一個例子：過去十年，運動控制、全身控制和操作任務形成了不同的研究路線，獲取訓練反饋和評估結果的方式也很不一樣。

• 一類是 sim-to-real，通過物理仿真和基於模型的學習獲得快速反饋。

• 另一類主要使用在真實環境中採集的人類示範數據：先利用這些示範訓練模型，再用真機評測策略的表現，不依靠仿真等方法獲取反饋。

以運動控制為例，現在拿一台 Unitree G1，下載 GitHub 上的代碼，用一張 GPU 和一個很小的 MLP 網路，訓練 15 分鐘就能看到效果。訓練完全在仿真中進行，用 GPU 優化的物理仿真環境，可以並行模擬數千乃至數百萬次機器人執行動作的過程，不需要先採集人形機器人的真實數據，也不需要通過遙操作教它走路。

MLP（Multi-Layer Perceptron，多層感知機）：一種基礎的神經網路，由多層相互連接的神經元組成。這裡用於根據機器人的狀態計算相應的控制動作。

訓練出的控制策略（policy），也就是決定機器人如何行動的模型，可以直接用於操作真實機器人，讓它完成走路、後空翻等動作，甚至更敏捷的運動和全身控制。這種效果在幾年前還很難想象。

相比之下，機器人操作研究在過去十年裡主要專注於大規模真實世界數據採集，而這些數據幾乎都依賴人類的專業技能和示範。無論是第一視角數據（egocentric data）、機器人遙操作（teleoperation），還是數據手套、UMI 等設備，研究者都在利用這些方式擴大離線專家示範數據集（offline expert datasets），讓機器人學會完成實際任務中需要靈巧性的操作。

Physical Intelligence、Generalist、Dyna 和 Google DeepMind 等團隊，訓練好模型後，還需要在實驗室做真機 A/B 評測，往往要花數百小時，才能發布一個新模型。

比如，Google 在發表 RT-1、RT-2 論文時，就曾投入數十名外包人員、數十台機器人和數百小時人工勞動，才能比較兩個 checkpoint 哪個更好。

因為真機反饋來得慢，研究團隊很難在每次更新模型後，都用新版本採到足夠的數據。Ted Xiao 建議按訓練用途選數據，比如預訓練可以用過去採集的示範，只要示範接近理想表現；但採集糾錯數據時，則應儘量讓當前版本先執行任務，記錄它在哪一步需要干預，以及糾正後的動作。

但人已經掌握的許多操作技能，還沒有被記錄成機器人能學的數據。實體經濟（physical world and physical economy）也面臨類似的問題。

• 在機器人領域，人類在進化中掌握了大量身體技能，研究者需要採集人運用這些技能的過程，讓機器人從中學習。目前，這類數據的規模還遠遠不能與網路相比。因此，採集這些數據，並開發能夠從有限數據中學習、又能隨著數據增多而擴展的算法，一直是大家追求的目標。

• 實體經濟中也積累了大量這樣的知識和數據，否則我們不可能建成今天的社會。但這些資料還沒有被系統地記錄、儲存和整理，無法像維基百科或 Reddit 上的內容那樣直接取用。

更重要的是，在實體經濟中，人類並沒有窮盡所有可能發明的技術，工程創新仍然需要持續迭代。相比之下，對於許多我們希望機器人掌握的靈巧操作，人類已有的能力就可以作為標杆，當然，也有需要超越人類能力的操作和一些特殊的工業場景。

因此，如果有人造出一台機器人，能在各種任務上達到人類水平，這已經是巨大的成功，但如果一套工程系統只能幫助人類重新發明 20 世紀 50 年代中期的技術，它的價值就很有限。

所以，工程創新既需要獲取已有數據，也需要繼續推進技術。我們要了解當前的技術水平、最優秀的團隊如何工作，也要了解一個新想法怎樣經過設計、實驗和工程流程變成現實，以及這些過程還能怎樣改進。

05.工程研發：計算提速之後，還要等待實驗

進一步看，工程測試也可以按反饋速度排列：手工計算、軟體分析和自動化檢查通常能較快給出結果；而涉及真實設備、材料和環境的試驗，則可能耗時數周、數月、數年，甚至數十年。

測試還受資源和次數限制，比如 F1 車隊每年設計新賽車時，風洞試驗次數和 CFD 仿真算力都受到規則約束。這些測試和仿真配額也是車隊研發競爭的一部分。

除了測試資源有限，通過計算或仿真進行驗證的適用範圍也是一個問題。同一項設計，可能通過了下圖藍色部分的計算或仿真檢查，卻在橙色部分的真實測試中暴露出問題。這些驗證方法在什麼情況下可靠，又在什麼情況下無法反映真實表現，是工程實踐中需要釐清的問題。

Ted Xiao 表示，Anthropic、OpenAI、Gemini 等團隊已經開始針對一些數字化設計和工程任務訓練模型。在這些能夠快速、低成本地檢查結果的任務上，模型的表現已經有了明顯改善。這些團隊展示的工程設計 demo，也讓 Ted Xiao 印象很深。

但把這些設計放進實際生產的工程流程，結果就不一定合格，有時甚至連工程師進行的基礎檢查都無法通過。因此，至少目前看來，僅靠計算或仿真檢查給出的反饋來訓練，似乎還不足以讓模型直接滿足實際工程的要求。

這種情況也不限於 CAD。許多領域都一樣：能夠用計算替代實測的部分，進展很快，但仍然必須等待真實測試結果的部分，還是很難同步加速。

自動化實驗室正在嘗試改善這些實測環節。Periodic Labs、OpenAI、Anthropic 等團隊正在材料科學、藥物發現等領域探索如何利用真實實驗的反饋，其中也包括實際操作樣本、試劑的濕實驗。他們既在提高實驗效率，也嘗試讓模型判讀實驗結果或檢查實驗方案。

比如 Periodic Labs 就公布過一項進展：他們的自動化實驗室，每天可以完成大約 100 次涉及 X 射線衍射的真實實驗，新實驗室可能把這個數字提高到每天 1000 次。但即便如此，這個規模仍遠小於 coding 模型訓練和人形機器人仿真訓練中可以進行的數百萬次嘗試。

因此，Periodic Labs 還嘗試訓練一個 LLM judge，讓 LLM 判讀 X 射線衍射圖譜。它與博士專家的判斷一致率達到了 77%。他們希望用真實實驗的反饋改進 LLM judge，再讓 judge 提供獎勵分數，用來訓練模型。

不過，這類方法在不同團隊中的效果並不一致。相比 coding、工程計算和數學領域，自動化實驗室的進展更容易出現停頓或反覆，許多環節依然需要等待真實實驗。

Anthropic 關於蛋白質結合體和 CRISPR 的研究也顯示了這種限制：科學家與 Anthropic 的內部模型合作，在計算機中反覆提出、檢驗實驗設計，再把選出的實驗交給人工操作的濕實驗室執行。在科學家與模型的協作下，更多實驗設計和初步檢驗得以在計算機中完成，原本需要數月或數周的工作，現在只需數周或數天。但人工執行的濕實驗仍然需要數周，設計和分析的提速並沒有縮短實驗本身的等待時間。

總的來說，實驗可以同時開展，但後一輪實驗如果要根據前一輪的結果來設計，就必須等前一輪結束。即使一次並行做了更多實驗，也只是讓這一輪獲得更多資訊，研究者仍然需要看到結果，才能據此提出新的假設、安排下一輪實驗。因此，並行實驗能增加每一輪的探索量，卻無法消除輪次之間的等待。

06.用模型替代實測有哪些侷限？

為了縮短驗證所需的時間，許多領域都在嘗試用計算替代一部分真實測試。原本耗時長、操作繁瑣、結果容易受干擾且成本高的測量，如果能通過模型或仿真可靠地完成，就有機會藉助更多算力加快驗證。對於仍然必須進行的真實測試，我們則需要提高測試效率，或者設法避免每一輪設計迭代都要等待實測結果。

如果沿用 Periodic Labs 的思路，我們可以設計一個價值函數（value function），也就是訓練一個能夠根據真實反饋評估方案的 critic。如果模型足夠可靠，就可以用低成本的計算替代一部分昂貴的實測。

但這裡有一個問題：verifier 是用歷史數據訓練的，它可能只在這些有數據覆蓋的任務和條件下可靠。但我們往往要檢驗的是此前沒有見過的新設計。

雖然模型確實可能學會處理訓練中沒有見過的情況，比如 AlphaGo Zero，但圍棋可以依據規則判定結果，不必為每次驗證付出高昂的真實實驗成本。物理世界沒有這樣的條件：蛋白質怎樣摺疊、結合，新材料和晶體能否被發現、合成，最終都要接受自然規律的檢驗。而我們訓練 verifier、獎勵函數和價值函數時，能夠使用的真實觀測很有限。

模型也許能處理一部分新情況，但這種能力是有邊界的。新設計與歷史數據中的情況差別越大，就越難獲得可靠、有用的反饋。

因此，沿着已有路線重新完成一次發明或設計，模型可能快得多，但要超越已有成果，難度仍然很大。學習價值函數值得嘗試，但不一定能直接解決探索未知的問題。

07.接下來該如何改進驗證？

Ted Xiao 結合自身在 robot learning、frontier model 研究中的經歷，以及同行的進展，他認為，接下來最重要的問題，就是建立既可信、又能擴大驗證規模的方法，並確認它在實際使用條件和新一輪研發任務中仍然可靠。

左右滑動查看更多圖表

回到最初的假設，首先，AGI 提供的智能和機器人提供的勞動能力，都是實現物質豐富的必要條件。但即使未來兩者都成功了，工程與發明中剩下的問題也不會自動消失。

第二，能可靠驗證的方向，往往更容易取得進展。驗證方法可信，而且能大規模使用，我們就可以依據反饋繼續學習和開發技術，逐步接近這些任務中的能力上限。

最後，評測指標必須反映我們實際想要的結果。分數提高了，模型在現實中的表現是否也會改善？把 AI 模型、機器人和工程流程結合起來後，整個系統是否完成了預期的工作？這些都需要直接測量。

三個研究方向

具體到研究，Ted Xiao 認為有三件事值得做。

第一是建立更多 verifier，也包括大家常說的 RL 環境。現在很多團隊希望增加訓練環境，再投入更多算力做 RL。但除了增加數量和覆蓋範圍，我們也需要深入一個領域，了解其中的工作如何進行、實際應用要求達到什麼標準，不能只看學術 benchmark。

第二是檢驗 verifier 是否可信。我們需要到模型實際工作的環境中，了解它會遇到哪些任務和操作條件，再檢查 verifier 在這些情況下的判斷是否可靠。

第三是安排好真實測試。verifier 和完整系統最終都要接受現實檢驗，而這些測試成本高、耗時長，需要大量資本投入，能做的次數有限，有些等待時間也無法壓縮。因此，能可靠模擬的部分，可以用合成數據補充訓練；必須實測時，先明確要驗證什麼，再優先做那些結果最能指導下一輪設計或訓練的實驗，讓每次結果都儘可能有助於改進 verifier 和技術。

實際推進需要怎麼做？

過去一年半，Ted Xiao 也一直在考慮具體該怎麼做。

• 對於最後階段那些成本高、次數有限的實測，可以增加資本投入，爭取更多實驗資源，通過更廣泛的合作擴大測試規模。

• 但離線數據稀少而且分散，因此部署就非常重要：Ted Xiao 認為，與數字世界不同，OpenAI 可以先在實驗室里用網路數據訓練模型多年，再推出 ChatGPT，但物理世界中的現成數據卻稀少、分散，我們需要把系統用於實際工作，持續收集數據、改進 verifier 和模型，也在使用過程中理解究竟要解決什麼問題。

以金屬切削為例，Ted Xiao 建議做軟體的團隊先去現場，看看操作者怎麼完成工序，聽他們說哪裡容易出問題，再用雙方都能理解的話把問題說清楚。

• 做這些工作也需要專注。機會很多，研究者和創業者很容易同時追逐多個方向，但只改進某一個環節，還不足以大幅縮短一項技術研發和投產的總時間。局部成果可能帶來財富、聲譽和研究影響力，卻不一定能讓整個過程按同樣幅度加快。

• 最終要看的是：實體經濟的產出有沒有提高，新技術的研發和投產有沒有加快，工業產量有沒有增加。幾項 benchmark 的高分，或者社交媒體上的關注，都不能替代這些實際結果。

來源：金色財經

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。