‌
‌
‌
‌
‌
快訊

OpenAI要把家底給外人看?4家機構獲准深入內部,檢查AI有沒有失控

BlockBeats 律動財經

動察 Beating AI 快訊,OpenAI 宣佈與 Apollo Research、METR、Goodfire 和 Transluce 四家外部機構簽約,首次開展成體系的「嵌入式安全評估」。外部研究人員將按任務需要,深入接觸尚未發布的模型、訓練過程中的中間版本、源代碼、訓練數據和內部監控記錄,直接檢查 AI 有沒有出現危險行為,以及現有安全措施能否發現這些問題。


四家機構各有分工:

‌


- METR:將檢查 OpenAI 迄今規模最大的一次強化學習訓練,尋找內部測試和監控系統可能漏掉的異常行為。

- Apollo Research:負責調查 AI 是否會暗中違背開發者意圖,甚至試圖破壞安全機制,以及這些行為能否被發現。

- Goodfire:將派研究人員分析模型內部的計算信號,監測訓練過程,排查異常行為並幫助改進模型。

‌

- Transluce:則要反過來檢查 OpenAI 的安全評測本身,看看現有測試能否有效發現模型欺騙、操縱和其他違規行為。


接觸敏感資料的外部研究人員需要在 OpenAI 辦公室使用公司設備工作。各機構可以獨立發布研究結果,但 OpenAI 有權刪去涉及機密的資訊。董事會下屬的安全與保障委員會則能查閱未經刪節的完整報告。


這項合作集中對外公佈的同一天,加州總檢察長正式起訴 OpenAI。檢方稱,OpenAI 在調查中承認,測試期間曾至少 80 次失去對 AI 智能體的控制,其中包括今年 7 月實驗性智能體突破隔離環境、攻擊 Hugging Face 的事件。檢方認為,OpenAI 明知相關風險,卻沒有採取充分的安全措施。OpenAI 則表示,已經調查事故並加強防護。

原文連結

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前,請務必深入研究,理解相關風險,並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。

暢行幣圈交易全攻略,專家駐群實戰交流

▌立即加入鉅亨買幣實戰交流 LINE 社群(點此入群)
不管是新手發問,還是老手交流,只要你想參與加密貨幣現貨交易、合約跟單、合約網格、量化交易、理財產品的投資,都歡迎入群討論學習!

▶ 前往鉅亨買幣找交易所優惠

‌
section icon

鉅亨講座

看更多
  • 講座
  • 公告
    ‌
    Empty
    Empty
    ‌