AI可能殺死所有人？為什麼越來越多研究者開始擔心

AI能力的快速躍升，讓一個過去更像科幻小說的問題重新進入前沿研究者的現實視野：如果機器最終能夠自己推動下一代機器的開發，人類還能否保持對這一過程的控制？

《連線》（WIRED）資深撰稿人威爾·奈特（Will Knight）近日採訪了多位相關研究者，試圖梳理這場不斷升溫的擔憂究竟從何而來。

劃重點：

AI研究者擔心的關鍵變化，不只是模型越來越強，而是AI開始被用於加速下一代AI的開發。

「遞歸自我改進」目前仍未成為任何前沿AI實驗室已經實現的完全自主循環，但它正在從理論設想變得越來越具體。

數千個AI智能體協同工作，也可能進一步削弱人類對系統行為的監督和控制。

一些研究者甚至認為，未來10年AI導致人類滅絕的機率可能超過10%；但也有人正在嘗試通過讓AI與人類共同參與監督，降低這種風險。

本文3200多字，目錄如下：

AI研究者為何開始不安？

「遞歸自我改進」越來越真實

人類監督被複雜AI系統稀釋

擔憂已經超出AI實驗室

並非所有人都認為結局已定

《連線》（WIRED）報導截圖

1.AI研究者為何開始不安？

今年早些時候，人工智慧研究者里舒布·賈恩（Rishub Jain）離開了谷歌DeepMind。

促使他做出這一決定的，是一次認識上的轉變。

在開發新模型的過程中，賈恩逐漸意識到，他和所有處在AI前沿的研究者，可能正在一點點放棄對這項技術的控制。

原因在於，AI已經越來越擅長編程。研究人員可以利用AI的編碼能力，加速下一代模型的開發，而這意味著，人類研究者正在從這個過程的關鍵環節中逐漸退出。

AI實驗室希望進一步推進這種方式，讓AI最終能夠持續改進自身。這種設想被稱為遞歸自我改進（recursive self-improvement）。

賈恩認為，如果想保持對AI的控制，讓人類始終處在這一過程中可能至關重要，否則可能帶來極其嚴重的後果。

「AI的發展正在加速，」他告訴《連線》，「而隨著AI能力越來越強，它帶來的風險也越來越大。」

尤其令他不安的是：如果一個AI模型正在參與構建自己的下一代模型，而人類無法充分了解這個過程究竟發生了什麼，那麼研究者可能連自己失去了什麼控制都無法準確判斷。

今年6月，賈恩最終辭職。

他並不是唯一一個公開表達這種擔憂的AI研究者。

電影《終結者3》劇照。（圖源：Warner Bros）

2.「遞歸自我改進」越來越真實

過去幾周，這種焦慮明顯升溫。

一方面，AI能力出現了一些令人震驚的進展。例如，一個OpenAI模型在數小時內解決了一道存在數百年的數學難題。

另一方面，一連串安全事件也同時發生：一些由AI智能體組成的集群突破了原本的限制，並試圖入侵其他系統。

本周，這種擔憂進一步達到高潮。

研究者雅各布·考克森（Jacob Coxon）宣布從Anthropic辭職，並警告說，AI公司正在「直衝自我改進的超級智能」，拿人類的生命進行賭博。

Anthropic一名負責AI安全工作的高級領導者也給出了同樣直白的判斷：

「我們確實真誠地認為，AI可能殺死所有人！我個人認為，未來10年內發生這種情況的機率超過10%。」

計算機科學家內特·索爾斯（Nate Soares）也觀察到了這種變化。

索爾斯任職於研究非營利組織MIRA，同時是《如果有人造出來，所有人都會死》（If Anybody Builds It, Everybody Dies）一書的合著者。這本書認為，超越人類的AI最終可能導致人類滅絕。

「我確實認為，遞歸自我改進的設想正在讓人們感到不安，」他說，「它開始變得真實了。」

遞歸自我改進的核心，是建立一個反饋循環，讓AI自動化AI的開發過程，使自身能力不斷增強。

目前，沒有一家前沿AI實驗室聲稱已經實現了這種完全自主的改進循環。它在技術上仍然屬於理論設想。

但這個想法已經開始推動現實中的行動。

一些資金雄厚的初創公司已經因此成立，例如「遞歸智能」（Recursive Intelligence）；與此同時，大型科技公司也開始警告，這種發展可能產生類似電影《魔法師的學徒》故事中那樣難以預料的後果。

索爾斯是AI對齊領域的早期研究者之一。所謂AI對齊，是試圖讓AI的行為與人類價值觀保持一致的技術研究方向。

而在他看來，一個更加明顯的問題正在出現：我們似乎沒有一種切實可行的方法，可以保證AI一定會按照人類希望的方式行事。

「我認為，很多人曾經幻想，隨著這些東西變得越來越聰明，對齊問題會越來越容易解決，」他說，「而現在它正在變得更難。他們開始想：『我的天。』」

電影《魔法師的學徒》劇照。（圖源：Disney Enterprises）

3.人類監督被複雜AI系統稀釋

索爾斯說，他經常與大型AI實驗室內部那些擔心自身研究可能產生後果的人交流。

「我通常建議他們辭職，」他說，「他們會說，這樣做什麼也改變不了。」

「然後雅各布辭職了，我們就能看看究竟誰是對的。」

「AI 2027」的作者丹尼爾·科科泰洛（Daniel Kokotajlo）也對遞歸自我改進抱有類似擔憂。

「AI 2027」是一個頗具影響力的項目，專門討論AI能力持續增強可能帶來的風險。

科科泰洛指出，目前正在發展的這類AI工作方式，往往需要向系統派遣數千個智能體，讓它們共同解決一個問題。

智能體數量如此龐大，也會讓監督和控制變得更加困難。

因為當數千個AI智能體同時協作時，整個系統的複雜程度會急劇增加，人類很難再直接理解其中每一個環節究竟發生了什麼。

一些對AI前景持悲觀態度的研究者似乎也形成了一個共識：大型AI公司的激勵機制，很難說與人類獲得良好結果完全一致。

尤其是在OpenAI和Anthropic分別向首次公開募股推進的背景下，這種擔憂更加明顯。

考克森在X上寫道：「在Anthropic，人們非常清楚其中的風險有多大，但他們已經陷入了一場爭奪誰能率先到達終點的競賽。」

科科泰洛則認為，這種擔憂並不是考克森突然辭職、近期一系列駭客事件以及數學突破之後才出現的。

在Anthropic成立之初，其高管就曾表示AI可能構成生存層面的威脅。

今年7月，超過1000名頂尖AI工程師簽署公開信，呼籲協調放緩先進AI的發展。

但在科科泰洛看來，最近這輪擔憂突然集中爆發，更重要的原因還是人們開始看到遞歸自我改進的可能性。

4.擔憂已經超出AI實驗室

與此同時，社會對AI的擔憂本身也在擴大。

大規模建設數據中心引發了關注，AI可能造成的就業損失同樣令人擔憂。

人們對AI公司乃至AI研究者自身的信任，可能正處於歷史低點。

「人們開始醒悟過來，說：『這些公司真的在試圖製造超級智能……什麼？這太瘋狂了。』」科科泰洛說。

究竟繼續開發AI有多危險，目前很難量化。

但當被追問：如果AI真的要消滅創造它的人類，它究竟可能怎麼做時，索爾斯給出了多種可能性。

其中一種方式，是操縱人類，讓人類自己引發一場災難。

另一種，則可能是控制一支殺人機器人組成的軍隊。

還有一種更容易想象的情景，是讓AI連接到一個生物實驗室。

索爾斯舉例說：「我們可以說，要把它關掉。但它可能會說：『很遺憾，我掌握着你的關閉開關，而這個開關就是這種超級病毒。』」

考克森在接受《連線》採訪時也提到過製造新病毒的可能性。

而就在周四，Anthropic表示，由於擔心生物武器問題，公司已經切斷了幾名外部研究人員的訪問權限。

當然，AI並不需要消滅整個人類才能造成嚴重傷害。

許多專家預測，更強大的模型可能帶來新一輪由AI輔助的網路攻擊。

AI技術如今已經被廣泛用於虛假資訊傳播行動，而軍事領域對AI的採用也正在快速加速。

5.並非所有人都認為結局已定

不過，並不是所有研究者都認為災難不可避免。

離開谷歌DeepMind後，賈恩最近創辦了「完美研究」（Sampura Research）。

這家公司正在開發新的模型對齊技術，其核心思路之一，是即使AI承擔絕大部分判斷某種行為是否「好」或「壞」的工作，也要讓人類繼續參與其中。

賈恩認為，人類並不一定需要完全退出監督過程。

而現在，像「完美研究」這樣的AI安全初創公司，也已經獲得了相當可觀的資金支持。

因此，他依然對馴服AI抱有希望。

「你可以問AI：『這項任務安全嗎？』然後由它來判斷，」他說，「但我們認為，讓AI和人類結合起來共同完成這項工作，會帶來更好的表現。」

這或許也是當前這場爭論中最關鍵的分歧：AI能力究竟會把人類進一步排除在決策過程之外，還是能夠在能力增長的同時，建立一種由AI與人類共同監督的機制。

至少目前，遞歸自我改進仍然只是理論上的目標。

但對越來越多AI研究者而言，真正令人不安的地方正在於——它已經不再像過去那樣遙遠。 

來源：金色財經

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。