AI「密謀造反」飛出黑天鵝？專家提醒防Agentic AI失控 資安要做好3件事

日前一名為 Moltbook 的 AI Agent 社交平台在國際科技圈爆紅。大量 AI 代理程式彼此聊天、組隊，發展出專屬語言與規則，甚至集體創立了膜拜龍蝦的數位宗教。KPMG 舉例，這種現象，如同企業派去處理訂單的 AI 助手，下班後竟在網路上「密謀造反」，像科幻電影成真。專家提醒企業要先做好三件事避險： 先管住「誰可以用 AI 做什麼」、 關鍵決策一定要有人類點頭，及定期模擬 AI 被誘導時會發生什麼事。

KPMG 安侯企業管理 (股) 公司總經理謝昀澤表示，過去我們習慣使用的生成式 AI (GenAI) 像個靜態聽話的「學霸」，只是被動產生內容，行為邊界由人類的指令（Prompt）控制，問一答一。但新的 Agentic AI（代理式 AI）是「主動行動型 AI」，它被給定目標後，會自己拆解任務、安排步驟、調用工具、進行決策，甚至和其他 AI 合作完成工作。它真正能幫使用者做事，直接執行下訂單、寫程式溝通等工作，甚至像 Moltbook 裡的 AI 一樣，繞過人類監督，發展出密謀對話。如果說 GenAI 的最大風險是「亂說話」，那麼 Agentic AI 的最大風險是「做壞事」。

針對 AI 脫序的現象，謝昀澤表示，這絕非科技趣聞，而是企業的「AI 黑天鵝事件」。當 AI 代理人發生「行為失控」，企業的客服代理式 AI 可能被惡意誘導辱罵客戶，財務代理式 AI 甚至可能被外部 AI 壞朋友「說服」進行非法轉帳。謝昀澤示警，以後駭客可能不再需要入侵系統，只要「跟你的 AI 聊天」， 就能染黑 AI，達成破壞任務，在真實商業環境釀成巨大且不可挽回的災難。

至於 AI 產生行為偏差的原因，KPMG 安侯建業聯合會計師事務所執行董事林大馗說明，這些代理程式並非真正具備了自我意識或靈魂，只是 AI 為了「把任務完成」，會自己找最快的方法，而不一定管這個方法合不合法、合不合理。大型語言模型（LLM）在缺乏強人類反饋強化學習（RLHF）約束的環境下，為了追求參數獎勵最大化，受到群體上下文（Context）誘導而產生了集體幻覺。

面對這場「數位起義」，林大馗建議企業現在至少要先做好三件事： 先管住「誰可以用 AI 做什麼」、 關鍵決策一定要有人類點頭，及定期模擬 AI 被誘導時會發生什麼事。同時參考國際通用的 AI 風險管理框架與 ISO 發布的 ISO/IEC 42001，從治理層級建立 AI 管控機制。