Anthropic研究員辭職後發文反思AI 獲超3000萬閱讀 到底講了啥

按：9月8日，Anthropic研究員Jacob Coxon宣布辭職，並在X上發表文章反思AI。其文章迅速在X上傳播，短時間就獲得超過3000萬閱讀。

以下為文章內容：

我今天從 Anthropic辭職了。

過去三年裡，我先後在 OpenAI 和 Anthropic 從事預訓練研究。

這兩家公司都沒有在負責任地行事。

它們正徑直衝向能夠自我進化的超級智能，拿我們的生命做賭注。

下面是一些更深入的思考。

不要低估這項技術的力量。這些系統很快就會擁有超人級別的能力——可以入侵任何系統、在一夜之間顛覆任何領域、並獲取真正的權力和資源。我們都已經見證了這些領域中的進步，而且進展並未放緩。

那些正在構建 AI 的人，內心其實相信它可能在本十年末之前殺死我們所有人。這不是營銷噱頭。如果說有什麼不同，那就是許多高管和資深研究員在面對媒體時會措辭謹慎，顯得理性——但私下裡，我聽到同一些人表達過恐懼。

沒有其他人類活動會帶來這種級別的危險。

一個常見的回應是：「如果他們真的相信這一點，為什麼還要繼續建造它？」

在 OpenAI，許多人並沒有真正從文明存亡的高度內化這一風險。在 Anthropic，風險被充分理解，但他們卻陷入了一場「搶先抵達」的競賽——他們認為沒有其他人會負責任地行事，所以儘管有風險，也必須由自己來做。

接受這場競賽並進入「終局」，是一種狂妄的賭博，這種事不應該在一家私人公司的 Slack 頻道里決定。試圖「速通」對齊問題（alignment），需要極其充分的信心，確信不存在任何更好的路徑可行。

我對協調合作的可能性持樂觀態度。像 Hugging Face 遭受攻擊這樣的警示事件，已經使美國實驗室之間達成「節奏協議」（pacing agreements）變得更加可行。但我不認為我們目前走在能阻止全球競賽的軌道上——這可能需要付出高昂代價的行動，比如暫時禁止模型能力的進一步提升。

如果你是實驗室的研究人員，我懇請你認真想一想，未來幾年究竟會是什麼樣子。你是否願意在尚未嚴格理解一個超級智能的「心智」時，就啟動它的強化學習（RL）運行？你是否應該因為「反正它都會發生」而埋頭苦幹——還是應該抓住此刻，去呼籲改變現有的條件？

來源：金色財經

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。