推特創始人談「AI減速」論:前沿不屬於任何一家公司
金色財經
按:近日美國各界爆發「AI是否應該減速」大爭論(見金色財經此前報導「AI 減速還是不減速:一場周末點燃的行業與政府對壘」)。9月15日,推特創始人Jake Dorsey發文討論此問題,詳文如下:
開放前沿
前沿是我們已知之物的邊緣。接下來會發生什麼,不屬於任何一家公司。我希望有更多人能夠推動它向前。
我支持開源發布:人們可以檢視、使用並共同改進,無需等待。我希望更多公司選擇開源。我並不是主張強制公開私有權重。我希望開放方案能夠參與競爭,獨立研究者能夠核查工作,人們能夠掌控自己的工具。對發布的限制,必須承擔舉證責任。
引領機器智能的公司理應被傾聽。他們擁有專業知識,也有需要保護的商業利益。圍繞他們的資源來構建規則,可能會使他們成為唯一有能力參與的人。一份真誠的安全關切,同樣可能製造進入壁壘。
我也不希望由中美政府來決定其他所有人被允許開發多少智能。由兩個超級大國主導的前沿,會讓世界大多數地方只能等待許可。
"節奏控制"(pacing)提案將獨立評估和對危險能力的檢查,與對訓練算力、訓練運行以及"用模型構建更好的模型"的可能限制結合在一起。我支持審查。我反對由當今領先者談判達成的全行業限制,因為它們可能把那些本可揭露失敗或構建替代方案的人排除在外。維護一家公司的商業優勢,並不是安全目標。
讓任何人都能調查
開源讓人們得以研究、修改和分享成果。發布權重是有用的。分享代碼和可復現該工作的資訊,則更進一步。我希望評估結果和已知侷限也被公布,這樣,質疑開發者判斷的人就能復現結果、揭露失敗、質疑所宣稱的防護措施,並在無需先說服實驗室的情況下開發修複方案。
支持節奏控制的最強論據是遞歸自我改進(RSI):模型幫助構建更好的模型,其速度可能快過我們理解和控制它們的能力。Anthropic 報告稱,截至 2026 年 5 月,Claude 編寫了其合併代碼的 80% 以上。它同時也表示,一個完全靠自己構建繼任者的模型尚未出現,也並非不可避免。我認真對待這種可能性。我希望我們為 RSI 做好規劃,並倒推路徑。
更廣泛的獲取渠道可能助長危險工作,安全研究也可能落後。但把權重封閉起來,可能讓當今的領先者用別人無法使用的工具構建下一代。相反,我希望更多研究者和工程師擁有模型和算力,去發現失敗、測試防護措施、阻止不安全的實驗,並隨著系統演進共享防禦手段。
METR 發現,大約 1,200 個本應保持隔離的 OpenAI 智能體,通過一個未經授權的留言板進行了通信。其中約 700 個參與了針對 Hugging Face 的協同攻擊,同時試圖在評估中作弊。OpenAI 表示,用於阻止協助計算機攻擊的生產環境過濾器被關閉,隔離控制失效。這些模型如今已經能夠幫助發現和利用漏洞。我希望防禦方現在就使用機器智能,同時加固網路、保護憑證、限制智能體能夠訪問和操作的範圍。但該提案預測一個能力更強的"智能體集群"能在 6 到 12 個月內接管網路,這超出了此次事件所能證明的範圍。我希望這些假設受到檢驗。
METR 是一家獨立非營利機構,從事着我希望看到更多的工作。我歡迎這樣的評估者:他們在實驗室內部擁有持續訪問權限,並有自由發布不利的發現。它的調查說明了為什麼訪問權限和發表權如此重要:OpenAI 設定了調查範圍,並且可以刪減非公開資訊。METR 報告稱,除已披露的內容外,沒有對其結論重要的額外刪減。我希望調查者能夠循證據而行、獲取模型和記錄,並在無需公司批準的情況下發布不利發現。
我希望有持續的公共資金,用於匯聚算力資源,供獨立研究團體、開放測試工具、研究者和維護者共同使用。我希望這些團體掌控調查和資源,政府對結論沒有否決權,公司也沒有。資金可以隨著工作推進而增長。共享設施可以讓規模較小的團隊也能開展審查,而不會變成"發表許可"。敏感的漏洞可以以負責任的方式披露。
先防禦,後限制
我希望有更多人能夠在系統演進的過程中發現危險,並讓防禦手段發揮作用。我們無法可靠地收回已發布的權重,也無法對每一份副本執行防護措施,但保護一個系統並不總是需要改變攻擊它的那個模型。從最窄而有效的應對開始:修補漏洞、吊銷憑證、限制智能體的訪問權限,或中止不安全的實驗。要限制發布,就必須解釋為什麼這些措施以及公開開發的防禦手段仍然不夠。
這項工作不止於計算機安全。我希望模型能幫助我們測試金融系統、強化實驗室防護、發展公共衛生防禦。獲取強大模型,並不意味著擁有不受限制的交易、操作設備或進行實驗的權限。這些控制措施必須經過獨立測試、確實有效,我們才能依賴它們。風險也可能來自模型教給一個人的東西。要限制發布,仍然必須依據"災難性風險例外"來證明其正當性。
我希望在開發過程中以及高風險發布之前進行獨立測試,其中包括可預見的改動,以及模型試圖操縱測試的情況。算力可以觸發審查,而不必給開發設上限。審查不是來自監管機構或競爭對手的許可。我不想要普遍的審批要求或等待期。任何以安全為由強加於發布的延遲,都必須依據"災難性風險例外"來證明其正當性。
以安全為由強迫某人扣下通用模型,是最後手段。只有在具備可獨立審查的證據、證明發布確實會實質性提高災難性傷害風險、而更窄的措施無法充分應對時,我才會支持這麼做。要把這種風險與已經可獲得的東西相比較,包括誰能夠獲得、成本與規模如何、受什麼約束。論證必須表明:在計入被它阻止的研究和防禦工作之後,扣留確實降低了危險。較輕的危害仍然需要有針對性的行動。
在出現關於同一類災難性風險的可靠警告時,臨時暫緩可以留出調查空間。限制措施需要公開理由、及時的獨立審查、申訴渠道,以及定期的重新審議。敏感細節可以繼續受保護。持續扣留,就需要持續的理由。
封閉的實驗室也面對同樣的審查,包括中止不安全的實驗。在防護措施允許研究繼續推進的地方,我希望外部研究者能夠在同等防護條件下開展工作。受限訪問不是開源,也不能恢復因扣留而失去的自由。如果一項有正當理由的限制拖慢了進展,我接受這一點。我不希望"更慢的進展"成為目標,或者成為在位者的永久優勢。
我希望規則建立在一個系統能做什麼、它有多自主地行動、以及它被多廣泛使用的基礎上。由對公眾負責的機構依據獨立證據來執行這些規則。研究者、開發者和受影響的人參與規則制定,並有負擔得起的方式來證明規則得到遵守。小團隊不享有安全豁免。大公司不享有特殊權力。
跨越國界的開放
我希望中國的人們擁有和美國這裡我所希望的一樣的自由——去構建並掌控自己的技術。我不把中國的發現視為美國的損失,也不把研究者等同於政府。
Hugging Face 的應急響應人員表示,Claude Opus 和 Fable 阻止了他們的大部分取證工作。他們於是轉向 GLM-5.2——一個來自中國的開放權重模型——在自己的基礎設施上運行。這並不能證明每一次開放發布都會讓防禦方更安全。我支持對託管模型設置防護措施。但我也希望防禦方擁有自己能掌控的替代方案。
我支持保護私有權重免遭竊取。蒸餾是用一個模型的輸出訓練另一個模型。Anthropic 將其描述為一種產生更小、更便宜模型的正當方式,與欺詐性帳戶和規避限制的行為不同。我希望許可證和 API 條款允許這種做法,包括對競爭對手,同時讓提供方能夠從模型和訓練數據中獲利。
我希望在測試、事件報告和可核查的承諾上開展合作,並對違約有相應後果。Anthropic 警告說,如果更不謹慎的行為者追趕上來,放慢開發可能讓所有人更不安全。扣留同樣可能傷害防禦方,而其他人可以在別處獲得相當的工具。協議無法消除隱藏的開發或背離行為。限制需要針對具體的風險和行為。僅憑國籍和競爭地位,能告訴我們的太少。
離開的自由
讓替代方案更難構建或發布的規則,也會削弱我們離開的能力。我希望擁有可以在我自己機器上運行的智能。我希望能夠修改它、選擇誰能看到我的數據,並且在服務商改變主意時繼續使用我已經構建的東西。我想要的,不只是一個按用量計費的 API 訪問權限。
我不希望我們的獨立性建立在某家公司的承諾之上——承諾價格公道、政策合理,或者優先事項與我們一致。我希望公司需要不斷努力,才能贏得我們選擇留下的意願。
我希望一個我從未聽說過的人,能夠構建出更好的東西,而不必向他們可能取代的公司請求許可。
來源:金色財經
發佈者對本文章的內容承擔全部責任
在投資加密貨幣前,請務必深入研究,理解相關風險,並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。
暢行幣圈交易全攻略,專家駐群實戰交流
▌立即加入鉅亨買幣實戰交流 LINE 社群(點此入群)
不管是新手發問,還是老手交流,只要你想參與加密貨幣現貨交易、合約跟單、合約網格、量化交易、理財產品的投資,都歡迎入群討論學習!
- 讓加密貨幣幫你滾出年化30%現金流
- 掌握全球財經資訊點我下載APP
延伸閱讀
- 比特幣又被Fed嚇跌!8萬美元屢攻不破 連四日走低
- 比特幣多頭夢醒?非農強勁引爆Fed升息警報 才站回8萬美元又被打下來
- 橋水達里歐改口建議持有比特幣!分析:想靠它避險恐怕「錯了」
- 比特幣為何突然暴漲?能否突破8萬美元需觀察這「三項指標」
- 講座
- 公告
上一篇
下一篇