BlockBeats 律動財經
編者按:AI 代理的未來分化,並不取決於模型能力的躍遷,而取決於一個更基礎的設計變數——責任究竟落在誰身上。
作者認為,所謂「增強人類」與「替代人類」並不是兩套技術路徑,而是同一套系統在不同設計選擇下的兩種結果——當決策仍需人類簽字、責任可追溯到具體個人時,AI 是放大器;當這一環節被移除(如自動批准、跳過權限),系統就會自然滑向替代。
文章進一步指出,AI 代理真正的價值並不是「完成工作」,而是將複雜世界壓縮成一個「可簽字的決策單元」,讓人類能夠在理解後承擔後果。但現實中,「許可疲勞」會讓用戶逐步放棄審核,從逐條批准到默認同意,最終讓系統繞過人類,這是一種認知機制,而非個體問題。
因此,文章提出兩個關鍵約束:一是每個重要決策都必須對應一個具體、可拒絕的人;二是誰從 Agent 的自主性中獲利,誰就要為出問題負責。
一旦責任回到構建者,系統的默認邏輯就會改變。在這一框架下,AI 的商業叙事也被重寫。與其是「替代一半工作崗位」的少數巨頭市場,不如是「放大人類生產力」的分佈式工具市場,其規模錨定的是約 40 萬億美元的全球知識勞動收入,而非企業軟件支出。
最終,文章將問題收斂為一個極簡但尖銳的選擇:AI 到底是為人服務,還是以自身為目的——而這個答案,正在被每一個產品設計細節悄悄決定。
以下為原文:
·「增強式未來」和「替代式未來」使用的是同一套模型、同一套工具。真正將兩者區分開的,是一個關於「後果最終落在誰身上」的設計選擇。
·Agent 真正的工作,並不是替人完成任務,而是把複雜世界壓縮成一個最小且忠實的「可決策單元」,讓某個人可以在其上署名負責。只要這種壓縮做對了,其他一切都會順勢展開。
·而這個「某個人」,必須是一個可以被明確識別的具體個體。模糊的、泛化的責任在高負載下會迅速瓦解,因此,每一個具有實際後果的行動,都必須能夠追溯到某一個有真實拒絕權的人。
·「權限疲勞」會讓 Agent 系統在自身演化路徑上,自發地滑向「替代人類」。因此,「增強式未來」不是默認會發生的,而是需要被有意識地設計出來,以對抗這種趨勢。
·如果你構建了一個 Agent,並從它的自主性中獲利,那麼當這種自主性出現問題時,你也應承擔相應的責任。一旦成本真正落在構建者身上,整個系統的默認行為就會隨之改變。
·在這種「人仍需承擔責任」的前提下形成的市場,其規模很可能比當前被大量投資的「垂直 Agent 替代一半工作崗位」的敘事大一個數量級,因為它所錨定的,不是企業軟件預算,而是高技能勞動力的工資總量。
Claude Code 提供了一個名為 --dangerously-skip-permissions 的參數。這個命名是誠實的;這個參數的作用正如其字面所示。一個在啟用該參數下運行的 Agent,並不會比未啟用時更有能力;改變的是,一條原本需要經過人類的鏈路,現在繞過了人類。
這個參數本身就是一種坦白。它承認,在底層能力完全相同的情況下,同一個系統既可以以「增強人類」的模式運行,也可以以「悄然替代人類」的模式運行。所謂的替代模式,並不需要不同的模型;它只需要把「同意」這一步移開。
這就是被壓縮後的論點。在當下正在發布的最有能力的 Agent 系統中,「增強」和「有效替代」之間的差距,很大一部分來自於移除審批,而不是發明一種新的能力類別。接下來的十年更像是「被增強的人類世界」,還是「由自主 Agent 代表我們行動的世界」,與其說取決於模型能力,不如說取決於構建這些系統的人,是把「人在回路中」視為系統的核心,還是視為一種摩擦。
在每一個技術問題之下,都有一個非技術的問題,很少有人願意公開提出:AI 是為了增強人類,還是 AI 本身才是目的?
這兩個答案意味著真正不同的未來。「增強」這一立場認為,價值存在於人類本身,而 Agent 的工作是讓這個人走得更遠、做出更好的決策。「AI 作為目的」這一立場則認為,世界中的智能本身才是價值所在,而人類最終只是一個低效的承載介質。大多數 Agent 產品都在無聲地編碼其中一種立場,而令人驚訝的是,很少有創始人被直接問過他們屬於哪一類。
能力設計和同意機制設計仍在演進。本文將重點放在「同意」這一側,因為這是建構者今天真正可以控制的變數,也因為在生成能力變得廉價之後,依然保持經濟價值的,是那些無法從人身上剝離的屬性:判斷力、品味、關係、責任,以及願意為一個決策署名並承擔其後果的意願。其中,「責任」(liability)是最具體的一項,也是唯一一個已經擁有數百年執行基礎設施支援的要素。
區分「增強式未來」和「替代式未來」的結構性規則,大致可以這樣表述:任何由 Agent 執行的、具有實際後果的行為,都必須能夠通過一條被記錄的鏈路,追溯到一個具體的人——這個人看到了相關的上下文,並且確實有機會對其說「不」。
泛化的責任很快就無法通過這一檢驗。「公司負責」在操作上並不覆蓋任何具體內容。「用戶點擊了同意」並沒有同意任何具體事項。「有人類審核過流程」允許這個人審核的是完全不同於最終發布內容的東西。真正需要的是一個具體的人,一個有名字的人,他看到了這個決策擺在面前,有拒絕的選項,並且選擇了不拒絕。
這聽起來像官僚主義,直到你注意到「責任」所具備的特性是其他方案所沒有的。能力提升無法優化掉它;一個更聰明的模型並不會影響最終是誰被起訴、被罰款或被監禁。它迫使設計界面必須暴露一個「拒絕點」。它會隨著風險自然擴展。而且它是一個跨領域最強的約束,並且已經擁有現成的執行基礎設施:法院、保險機構、職業委員會、監管機構。許可制度、受託責任和行業監管也確實在發揮作用,但它們約束的範圍更窄,並且都預設「責任歸屬」這一問題已經被解決。
相比之下,AI 層面的替代方案無法通過同樣的檢驗。「對齊」不可執行;我們甚至無法就其含義達成一致。「可解釋性」可以在形式上被滿足,卻在實質上沒有被滿足。「人在回路中」已經被掏空為「某個地方有個人」。之所以「責任」有約束力,是因為支撐它的執行基礎設施早在技術出現之前的數百年就已經建立完成。
這條梯度會將系統推向「替代」,而且推動力很強。每一次權限確認,都會消耗注意力。Agent 通常是對的。從單個決策來看,「不讀直接同意」的期望收益往往是正的。於是,一個理性的用戶會學會更快地點擊同意,然後批量同意,再對某一類操作開啟自動同意,接著擴展到更多類別,隨後在某個會話中打開那個危險的開關,最後甚至忘了這個開關的存在。
我在使用 Claude Code 的第二週就打開了這個開關,到第三週時已經不再察覺。所有我認識的、長期使用 Cursor 或 Devin 的開發者,都有類似的經歷。這個模式同樣出現在 cookie 彈窗、EULA 協議、TLS 警告、手機權限請求中。重複出現的低風險同意決策,最終會收斂為「無條件同意」。這是一種認知特性,而不是道德問題。
「增強式未來」不會自動發生。一個未經精心設計的 Agent 系統,其默認路徑就是走向替代,因為用戶自己會在一次次追求便利的過程中,主動選擇替代路徑。另一種未來,必須逆著這條梯度去設計。
Agent 真正有價值的,並不是完成工作本身,而是把工作壓縮成一個可以被簽署的形式。
一個前沿模型可以輕鬆寫出一個 4000 行的程式碼提交、起草一份 30 頁的合同、生成一份臨床記錄,或者執行一筆交易。但這些產物真正產生影響的瓶頸,並不在於「生成它們」,而在於人類是否有能力在它們落地後承擔其後果。一個沒人真正理解的程式碼提交,一旦合併就會變成負擔;一份沒人讀過的合同,一旦簽署就是一顆定時炸彈;一份沒有執業醫生實際背書的臨床記錄,在大多數受監管的醫療體系中,甚至根本不算一份有效記錄。
在「增強」的框架下,Agent 完成除「簽字」之外的一切工作:閱讀一萬頁上下文,寫出四千行程式碼,計算三十種合理方案,然後把這些內容壓縮成一個最小且忠誠的表達,讓某個人能夠基於此做出「是」或「否」的決定,並在文件底部署上自己的名字。
可以把 Agent 理解為一個新聞發言人。總統負責簽字,而發言人的工作,是完成簽字之前的一切準備。
這其實是一個比「讓系統自主完成工作」更難的工程問題。生成內容的能力正在快速進步,但「忠實地壓縮決策」的能力遠遠落後。未來在「增強型市場」中勝出的,將是那些能夠針對高責任風險場景,提供最短且最忠實決策摘要的團隊。
這句話中真正尚未解決的問題,是「忠實」這個詞。一個人類能夠讀懂的摘要,只有在其壓縮過程沒有歪曲信息時才有價值。是否可以通過程序化方式驗證這一點,才是「增強式未來」中真正困難的技術問題,而目前大多數人甚至還沒有真正開始面對它。
一些基礎方法正在出現:
通過複述測試確認人類理解是否與原始內容一致
在摘要中強制呈現少數意見或反對意見
進行反事實測試(「如果你拒絕,這個 Agent 會怎麼做?」)
可複現性檢查(另一個 Agent 是否能基於同樣上下文生成相同摘要)
這些都還遠未被解決。而最先解決這些問題的團隊,將建立起一種不會被模型能力提升輕易侵蝕的護城河。
如果「責任」在發揮結構性作用,那麼 Agent 執行的每一個行為,都應該附帶一個「責任等級」,並由這個等級決定該行為所需的最小簽署機制。
目前,這樣的標準體系還沒有被廣泛建立——但它很可能應該被建立。
與後果相匹配的「審批姿態」,是管理權限疲勞的唯一現實路徑。在高風險層級中,需要加入更具約束性的正向參與機制(例如複述測試、冷卻時間、第二審核人),因為在這些場景中,真正的失敗模式不是 Agent 建議錯誤,而是人類在未加思考的情況下直接批准。
上述所有問題,最終都指向一個創始人層面的根本問題:你是否在乎人類是否仍然是這個未來的一部分?當下許多關於 Agent 產品的設計決策,本質上都是在對這個問題進行一種「無聲投票」,只是投票的人往往不願承認自己正在做出選擇。
如果你在乎,那麼設計約束其實並不模糊:你需要構建責任分層體系;把「拒絕」設計為一項一等功能;衡量標準應該是 Agent 交給人類的摘要質量,而不是它在無人干預下完成任務的自主程度;你需要把每一個具有實際後果的行為,綁定到一個可竄改性極低的日誌中的具體個人。
這些技術工作本身是現實且可行的。真正的難點在於是否願意這樣做——因為「增強式」的構建路徑,在演示效果上不夠驚艷,在按席位計費的經濟模型上也不如另一種路徑激進。
Anthropic 是一個非常典型的案例,展示了這個領域如何發生「內生偏移」。這並不是因為它特別疏忽,恰恰相反,而是因為它在安全問題上的表達最為清晰,因此「框架」與「產品表層」之間的差距也最容易被看見。其《Responsible Scaling Policy》和「Constitutional AI」工作,主要約束的是訓練階段的模型行為;但構建在這些模型之上的 Agent,其默認的自主性設置,屬於另一套策略體系,而那個便捷的「危險開關」,只需一次按鍵就可以從默認狀態啟用。
這種模式在大多數主流編程 Agent 中都存在,只不過 Anthropic 的情況最容易被觀察清楚。這就是所謂的「Anthropic 悖論」:這個行業中最清晰地書寫安全框架的實驗室,同時也提供了從「增強」走向「替代」的最短路徑,而我們之所以能看見後者,正是因為前者足夠清晰。
公平地說,他們在今年三月推出了「auto mode」(自動模式),作為手動審批與危險開關之間的一種中間路徑。在這個模式下,每個動作在執行前都會由一個 Sonnet 4.6 分類器進行審核。他們在官方說明中直接點出了問題——稱之為「審批疲勞」,並給出了一個數據:用戶在手動模式下對 93% 的提示都會選擇接受。這實際上就是「權限疲勞」的量化體現。這個判斷,與本文的分析是一致的。
但在解決路徑上,我會進一步提出不同看法。「自動模式」用模型審批取代了人類審批,這意味著那條「滑向替代」的梯度並沒有終止,而只是上移了一層。分類器確實可以阻止危險行爲,但對於那些被放行的行爲,並沒有一個具體的人真正承擔責任。Anthropic 自身也承認,「自動模式」並不能消除風險,並建議用戶在隔離環境中運行——換句話說,「責任歸屬」這個問題仍然懸而未決。
一個顯而易見的反對意見是:如果最終責任要落到個人,那不就是手動模式嗎?而手動模式恰恰是被疲勞擊穿的。之所以「由構建者承擔責任」能夠摆脫這條梯度,是因爲它改變了「過度審批」的成本承擔者。在當前結構下,用戶為每一次認真閱讀付出成本,而構建者無需承擔,因此默認設置會傾向於降低用戶摩擦、外部化風險。一旦把「未審查行爲的成本」轉移給構建者,整個計算方式就會反轉:構建者會有直接的經濟動機去設計責任分層、複述測試和審批機制,使低風險決策的簽署成本更低,高風險決策的簽署成本更高。梯度不會消失,但方向會改變。這一點,至今還沒有一家主要實驗室真正實踐,包括最接近意識到問題的那一家。
如果一個 Agent 的明確目的,是替代人類執行原本由人完成的行動,那麼構建並運營這個 Agent 的公司,就應承擔與人類相同的責任。這一原則並不激進,它早已適用於所有「在現實世界中產生行爲」的行業:豐田為剎車負責,波音為飛控系統負責,輝瑞為藥物負責,橋樑工程師為橋樑負責,醫生為處方負責。這種責任模式幾乎存在於所有法律體系之中。
然而,AI 目前在某種程度上享有一種「隱性豁免」。模型提供方聲稱自己只是工具供應商;上層應用公司聲稱自己只是模型的薄封裝;用戶則在一開始就通過仲裁條款放棄了所有責任。當 Agent 系統出現連鎖性失敗時(例如加拿大航空聊天機器人案、Replit 刪除生產數據庫事件,或者類似 2012 年 Knight Capital trading glitch 在 45 分鐘內損失 4.4 億美元的事件),最終承擔損失的,往往是最沒有能力承擔的一方——用戶。這種責任分配方式,不會在第一次真正「有金額、有文件」的重大事故中繼續存在。
解決方案在表述上其實很簡單:誰構建了 Agent,並從其自主性中獲利,誰就應在其失控時承擔後果。一旦責任真正落在構建者身上,權限提示就不再被視為「摩擦」,而會被視為「保險」。那個危險開關會被重新命名,默認設置也會隨之改變。
是否願意為自己的系統承擔責任,是區分一個真實產業與一個「抽取式產業」的關鍵。
市場本身不會自然走向「增強式未來」。真正起到引導作用的,往往是監管機構與保險承保人,而從整體來看,這未必是一件壞事。
歐洲很可能成為最早的監管通道。歐盟在制定規則方面有著明確的先例(如 GDPR、《AI 法案》、DMA),其規則往往會被全球默認遵循,因為為非歐盟市場單獨維護一套產品,成本通常高於直接遵守歐洲標準。一個要求「所有具有實際後果的行為必須最終由具名人類並具備拒絕權進行確認」的底線,更接近汽車碰撞測試標準,而不是對技術進步的阻礙。
更直接的推動力來自保險行業。為錯誤與遺漏責任險(E&O)、董事責任險(D&O)以及網絡保險定價的承保機構,必須回答一個問題:當 Agent 在用戶授權下行動並造成損失時,責任如何認定?最容易形成可賠付結構的路徑,是鏈路中存在一個具名的人類。因此,沒有這種結構的系統,其保險費用將自然反映出更高的風險溢價。對於那些希望自行定義規則,而不是由監管或保險公司來制定規則的構建者來說,時間窗口其實並不寬裕。
當前的主流叙事認為:垂直領域的 Agent 將吸收其所觸及行業中大約一半的工作崗位,價值將集中到少數幾家垂直整合的 Agent 公司手中——法律領域的一「Anthropic」、醫療領域的一「Anthropic」、會計領域的一「Anthropic」。過去一年半中幾乎所有數十億美元級別的 AI 融資,某種程度上都建立在這一假設之上。這是「替代邏輯」披上商業外衣後的版本,但它在市場結構上的判斷是錯誤的,而這種錯誤會直接影響資本的配置方式。
「增強式」的框架則意味著另一種市場形態。如果每一個具有實際後果的行為,最終都必須落到一個具名的人身上,那麼被出售的單位就不是「自主 Agent」,而是「被放大的人類能力」。那個可以處理三倍病例、且準確率更高的醫生,才是買方;同樣,能夠覆蓋十倍交易流的律師、以五倍速度交付的工程師,以及其背後的會計師、承保人、分析師、建築師、外科醫生、教師、信貸員、記者和藥劑師,也都是買方。
這個市場之所以更大,是因為它不依賴集中化,而依賴規模化分發。合理的估值錨點,不應是企業軟體預算,而應是被「放大」的勞動力工資總量。全球企業 IT 支出大約在每年 4 萬億美元左右(Gartner 數據);而全球技能型、持證類及知識型勞動者的總薪酬規模,大致高出一個數量級,約為 40 萬億美元(基於國際勞工組織數據,並剔除低技能部分估算)。AI 公司當然不會獲取全部工資池,但它們可以獲取其中的一部分生產力紅利。即便只捕獲個位數比例的份額,也足以支撐一個與當今整個企業軟體市場規模相當的市場,而這只是下限,而非上限。最終市場空間的大小,取決於一個關鍵設計決定:責任究竟落在誰身上。
最終的贏家,更像是工具而不是替代者,其定價基於「被放大的人」,而不是「被替代的崗位」;它們嵌入既有的專業工作流,而不是取而代之;它們會有成千上萬家,而不是寥寥幾家。這個市場的最終形態,更接近 SaaS,而不是雲基礎設施。目前我們還處在部署曲線的極早期階段,常見的滲透率曲線圖,在一個還將延伸十年的座標軸上,不過是最左側的幾個像素。而這些「像素」的形態,正由當下一小部分產品中的設計選擇所決定。
讓人類繼續承擔責任,會迫使系統架構圍繞「增強人類」展開;而一旦把人從責任鏈中移除,系統就會默認滑向「替代」,即便在場的每一個人,如果被明確問及,可能都不會選擇這個結果。
真正的問題,並不是是否有些行為應該被完全自動化——上述框架已經承認了這一點,例如純信息讀取類操作確實可以自動化。關鍵在於,當風險逐步上升時,這條邊界如何移動,以及由誰來決定它。在當下最先進的 Agent 系統中,從「增強」滑向「有效替代」的路徑異常短,往往只需一個參數開關或一個默認設定。真正重要的工作,是確保這個開關始終被視為「危險選項」,而不是在便利性驅動下逐漸成為默認。
如果建造者主動完成這項工作,我們將相對平穩地進入一個「增強式未來」;如果他們不做,監管機構和保險承保人會替他們完成,而結果同樣會走向那裡。
是否在乎,這是一個設計選擇。而這個選擇,將決定你建造的是什麼。如今每一個在推出 Agent 產品的創始人,都必須公開回答一個他們似乎不願面對的問題:你在建造的,是增強,還是替代?
[]
發佈者對本文章的內容承擔全部責任
在投資加密貨幣前,請務必深入研究,理解相關風險,並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。
暢行幣圈交易全攻略,專家駐群實戰交流
▌立即加入鉅亨買幣實戰交流 LINE 社群(點此入群)
不管是新手發問,還是老手交流,只要你想參與加密貨幣現貨交易、合約跟單、合約網格、量化交易、理財產品的投資,都歡迎入群討論學習!
上一篇
下一篇