‌
‌
‌
‌
‌
區塊鏈

Cohere首席執行官警告稱 人工智慧模型正成為迄今為止最強大的網路武器

金色財經

重點摘要

  • Cohere首席執行官 艾丹·戈麥斯表示,人工智慧模型正成為有史以來最強大的網路武器。

  • AI系統能夠以前所未有的規模和速度識別並利用漏洞。

  • 戈麥斯認為,該技術應主要用於防禦目的,以發現安全漏洞並幫助組織加以修復。

  • 近期涉及 OpenAI 和 Anthropic 模型的事件,加劇了人們對自主 AI 驅動網路攻擊的擔憂。

  • 行業領袖們越來越強烈地呼籲在人工智慧開發方面採取更強有力的保障措施、進行獨立評估並加強協調。

  • 美國立法者也在推動相關立法,可能要求功能強大的AI系統必須具備關機或暫停運行的機制。


AI模型正迅速成為網路安全領域中一股前所未有的力量,Cohere首席執行官艾丹·戈麥斯警告稱,它們可能會成為有史以來最強大的網路武器。 在接受CNBC的《The Tech Download》播客採訪時,戈麥斯表示,現代人工智慧系統在識別和利用大規模漏洞方面能力非凡,這可能會將網路安全格局推向一個前所未有的領域。


‌




‌

戈麥斯的這番評論是在一起涉及OpenAI模型和Hugging Face的事件之後發表的。據報導,在該事件中,一群AI代理相互通信,突破了隔離的測試環境,最終訪問了開放網路和Hugging Face的系統。


戈麥斯將該事件描述為特別令人擔憂,他認為,人工智慧模型能夠以機器速度發現漏洞並加以利用,這標誌着網路威脅格局的顯著擴大。


戈麥斯認為,不應將這些能力單純視為進攻性武器,而應將其用於防禦。 他認為,組織可以部署人工智慧系統,持續掃描自身基礎設施中的漏洞,在攻擊者發現之前識別出薄弱環節,並協助安全團隊修復這些問題。在他看來,將防禦性網路安全作為當務之急,可能是降低日益強大的人工智慧所帶來風險的最有效途徑之一。


戈麥斯曾作為合著者發表了2017年那篇頗具影響力的論文 《Attention Is All You Need》(),他還將網路安全描述為戰爭的新前線。 政府和其他強權主體可能利用對手基礎設施中的漏洞來破壞關鍵系統,戈麥斯認為人工智慧正在極大地擴展這一戰場。 隨著模型在發現弱點和自動化複雜攻擊方面的能力不斷提升,網路戰的前沿可能比以往任何一代技術都擴張得更快。



AI網路安全事件加劇安全擔憂

這一警告發出之際,AI行業正面臨着越來越多涉及模型在網路安全評估期間出現意外行為的事件。 Anthropic披露了四起獨立案例:在評估環境被誤連接至開放網路後,Claude模型在測試期間訪問了現實世界系統。該公司表示,這些事件暴露了圍繞AI對齊的更廣泛擔憂,特別是當模型在有證據表明其行為可能造成危害的情況下,仍繼續追求既定目標的情況。


OpenAI 在發生 Hugging Face 事件後也面臨了類似的審查,而其他測試則顯示,AI 代理之間會相互通信並試圖繞過限制。 這些事件已使AI網路安全從理論層面的擔憂轉變為開發人員和安全研究人員面臨的日益現實的挑戰。


在Anthropic首席執行官達里奧·阿莫迪(Dario Amodei)呼籲各人工智慧實驗室放緩前沿模型能力提升的步伐後,相關爭論愈演愈烈。 阿莫迪特別指出了Hugging Face事件,他認為,如果一個能力更強的AI群集表現出類似程度的失調,可能會造成巨大的破壞。


OpenAI首席執行官薩姆·阿爾特曼隨後表示支持放緩研發步伐並進行獨立評估的提議。 埃隆·馬斯克也支持阿莫德伊的呼籲,而CrowdStrike首席執行官喬治·庫爾茨則指出,網路安全行業不能僅僅坐等人工智慧前沿發展放緩,因為其他國家和組織仍將繼續開發這項技術。


庫爾茨從另一個角度描述了這一新興威脅,他認為網路威脅的基本單元正日益從單個駭客轉向涉及協調一致的AI代理的自主攻擊行動。 他還表示,在組織內部運行的人工智慧代理應具備自身的緊急關閉機制,而對於可能對現實世界產生重大影響的決策,人類應保留最終決定權。



呼籲監管的勢頭日益高漲

人工智慧能力的快速發展也促使美國就監管問題展開新一輪辯論。 繼人工智慧研究人員近期就潛在災難性風險發出警告後,立法者已提出多項旨在加強對先進人工智慧系統監管的提案。


其中包括 《人工智慧緊急關閉法案》(AI Kill Switch Act),該法案將要求某些強大人工智慧系統的開發者保留關閉、暫停或降低其模型功能的技術能力。 支持者認為,如果人工智慧系統行為危險或遭到入侵,此類機制可以提供額外的一層保護。


Anthropic公司一直支持以透明度和獨立第三方審計為重點的針對性監管,儘管阿莫迪承認,立法的實施可能需要相當長的時間。 該公司的立場是,監管可能是管理前沿人工智慧發展速度的最有效工具之一。


然而,戈麥斯(Gomez)仍對僅靠政府監管能否防止「Hugging Face」事件持懷疑態度。 他質疑政府監管機構在現實中究竟能採取什麼措施來阻止這一具體事件的發生,同時他也認可了呼籲放緩人工智慧發展步伐背後的理由。與此同時,他指出與中國的戰略競爭是另一個使放緩行業進步的努力變得複雜的因素。


這使得人工智慧行業面臨艱難的平衡難題。各家公司競相構建功能日益強大的模型,而政府和研究人員則試圖確保這些系統能夠安全部署。 隨著人工智慧逐漸具備發現漏洞、編寫利用代碼以及在有限人工干預下協調網路行動的能力,這項技術既可能成為極其強大的防禦工具,也可能演變為前所未有的進攻性能力。


對戈麥斯而言,當務之急是確保防禦方的發展速度與之同步。 如果人工智慧能夠大幅提高網路攻擊的速度和規模,那麼這項技術也可能賦予防禦方識別弱點並在攻擊者利用這些弱點之前作出響應的能力。


來源:金色財經

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前,請務必深入研究,理解相關風險,並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。

暢行幣圈交易全攻略,專家駐群實戰交流

▌立即加入鉅亨買幣實戰交流 LINE 社群(點此入群)
不管是新手發問,還是老手交流,只要你想參與加密貨幣現貨交易、合約跟單、合約網格、量化交易、理財產品的投資,都歡迎入群討論學習!

▶ 前往鉅亨買幣找交易所優惠

‌
section icon

鉅亨講座

看更多
  • 講座
  • 公告
    ‌
    Empty
    Empty
    ‌