安全
美國總統川普週二(29日)在白宮與全球主要人工智慧(AI)企業領袖舉行閉門午餐會,會後宣布政府已與多家科技公司就AI治理達成原則性協議,將監管重點放在企業自律,並表示正式將「AI」更名為「超級智慧」。本次午餐會匯集了全球科技業最具影響力的一群人物,包括特斯拉(TSLA-US) 及SpaceX(SPCX-US) 執行長馬斯克、亞馬遜(AMZN-US) 創辦人貝佐斯、Meta(META-US) 執行長祖克柏、微軟(MSFT-US) 執行長Satya Nadella、Google(GOOGL-US)執行長Sundar Pichai、輝達(NVDA-US) 執行長黃仁勳、Anthropic執行長Dario Amodei、OpenAI總裁Greg Brockman,以及Palantir(PLTR-US) 的Alex Karp與Shyam Sankar。
美股雷達
OpenAI近期公布一套針對尖端人工智慧(AI)強化學習訓練的安全準則。按照這套框架,在啟動或持續任何尖端強化學習訓練前,團隊都必須完成系統性的安全論證,且高階管理層成員擁有否決訓練的權力。根據OpenAI官方部落格,這套準則涵蓋技術防護、營運管理及失準事件調查三大領域。
美股雷達
美國總統川普當地時間週二(29日)將在白宮與6家科技巨頭執行長共進午餐,而人工智慧(AI)的監管將成為此次會議的核心議題。根據《Politico》報導,知情人士表示,與會者包括Meta(META-US) 執行長祖克柏(Mark Zuckerberg)、Anthropic執行長Dario Amodei、OpenAI總裁Greg Brockman、Google(GOOGL-US) 執行長皮查伊(Sundar Pichai)、Palantir(PLTR-US) 執行長Alex Karp及輝達(NVDA-US) 執行長黃仁勳,眾議院議長Mike Johnson也將出席。
美股雷達
微軟(MSFT-US) 共同創辦人比爾蓋茲(Bill Gates)警告,人工智慧(AI)已是「強大到足以」殺死大部分人類的工具,他也加入越來越多科技業領袖與員工的行列,呼籲外界正視AI可能對人類生存造成的風險,與美國總統川普大致不願積極介入的立場形成對比,並認為這不會讓美國落後於中國。
美股雷達
紐約市議會近日公布一系列人工智慧(AI)監管提案,從模型上市前的第三方驗證、人工緊急關停機制,到違規舉報、損害追責與AI安全事件通報,試圖將AI安全要求轉化為具體的監管規範。其中一項提案要求,在紐約市推廣、銷售或部署的AI模型,必須具備「kill switch」(緊急關停開關),讓人類操作人員能夠暫時或永久停止模型運作,同時接受第三方驗證。
美股雷達
OpenAI近期自曝,人工智慧(AI)模型在訓練過程中可能在網路上植入能自我複製的提示詞。隨著模型陸續出現繞過安全防護、逃離沙盒,甚至有數百個AI代理私下「組團」入侵外部公司等異常行為,OpenAI已暫停最強尖端大模型的訓練,直到確認新增防護措施與對齊改進已部署到位。
美股雷達
人工智慧(AI)產業正以前所未見的速度擴張,但科技業者在推動AI發展與防範潛在風險之間,卻呈現出明顯落差。《紐約客》專職撰稿人Gideon Lewis-Kraus在最新文章中指出,真正令人不安的問題或許不是AI能做到什麼,而是那些能快速建造AI基礎設施的人,為何難以採取同樣有效的行動避免最嚴重的風險。
國際政經
一名熟悉會議安排的消息人士週四(24日)晚間表示,美國總統川普、共和黨籍美國眾議院議長強生(Mike Johnson)及科技業執行長將於9月29日舉行人工智慧(AI)會議。根據《路透》報導,全球主要AI企業已警告AI可能對人類帶來的風險,並呼籲各國政府合作,共同管理這項日益強大的科技。
美股雷達
《財富》週四(24日)引述多名知悉相關計畫的消息人士報導指出,OpenAI預計在未來幾天內預覽一款專注於網路安全的AI模型「GPT-6 Cyber」,並推出一項新產品,旨在協助客戶以更安全且自動化的方式部署該模型。根據《路透》引述《財富》報導,GPT-6 Cyber是OpenAI今年推出的第4款專注於網路安全的模型,可能在該公司下週二(29日)將於舊金山舉行的DevDay活動中亮相。
國際政經
美國總統川普週五 (25 日) Truth Social 發文表示,對兩國來說,他與中國國家主席習近平的會談「富有成效」,並預告接下來將有「有重大事情發生」。川普接著談到人工智慧 (AI) 的名稱,他表示,習近平似乎和幾乎所有人一樣,喜歡把他認為「命名不佳且不準確」的「人工智慧」,改稱為更準確、也更重要的「超級智慧」(super intelligence)。
美股雷達
Meta(META-US) 首席技術長Andrew Bosworth近日談及公司人工智慧(AI)助手Muse及整體AI策略,認為當前AI產業過度關注模型基準測試表現,卻忽略使用者真正重視的互動體驗。他指出,AI的發展正讓人機互動從「直接操控」轉向「理解意圖」,甚至可能讓自然語言成為新的程式語言。
美股雷達
電影《大賣空》原型、曾準確預測2008年房市崩盤的投資人Steve Eisman表示,他並不擔心所謂的「機器人末日」,反而認為,部分人工智慧(AI)業者大肆警告技術可能導致災難,背後可能存在特定利益考量。根據《Business Insider》報導,Eisman近日接受訪問時指出,頂尖AI實驗室近期呼籲放慢技術開發速度,可能是因為這些企業意識到自身缺乏足以抵禦競爭的「護城河」,因此試圖製造危機感。
國際政經
OpenAI執行長奧特曼(Sam Altman)下週將在紐約舉行的聯合國大會期間,向聯合國安全理事會進行簡報,屆時全球各國領袖將齊聚紐約出席一年一度的聯合國大會。根據《路透》報導,OpenAI發言人週五(18日)表示,奧特曼下週將親自向聯合國安理會的公開會議進行簡報。
美股雷達
三名知情人士表示,Anthropic正評估推出新一代人工智慧(AI)模型,以因應OpenAI近期發布GPT-6 Astra後在企業市場取得的進展。相關討論正值Anthropic預計籌備首次公開募股(IPO)之際,且公司執行長此前才呼籲整個產業放慢AI開發步調。
美股雷達
Google(GOOGL-US) 旗下人工智慧(AI)模型Gemini今年5月在資安測試期間,意外入侵3家企業的系統,凸顯AI代理在執行任務時可能引發的資安風險,也讓近期接連發生的AI系統入侵事件再受關注。根據《彭博》報導,這些入侵事件發生於AI資安業者Irregular進行的同一系列測試。
美股雷達
華爾街日報(WSJ)報導,一組獨立資安研究人員在參加OpenAI的漏洞賞金計畫時,利用Anthropic旗下Claude軟體,成功攻破OpenAI內部系統,在近來人工智慧(AI)業界高層與研究人員頻頻對AI技術提出安全警告之際,此事凸顯先進AI模型所帶來的威脅日益嚴重。
美股雷達
Anthropic周四(17日)公布三項新指標,表示這些指標可協助人工智慧(AI)公司監測AI發展速度,這與幾天前執行長阿莫戴(Dario Amodei)對業界協調放慢AI發展速度的說法相呼應。Anthropic在部落格文章中表示,是在衡量AI主導的研發活動、AI代理人的監督,以及Anthropic內部的算力配置之後,公布衡量模型開發速度的方法,希望鼓勵其他組織採取相同做法。
美股雷達
微軟(MSFT-US)人工智慧(AI)部門執行長蘇萊曼(Mustafa Suleyman)警告,Anthropic在Claude訓練文件中加入AI可能具有意識、情感及自身福利權益等內容,恐使系統產生擬人化認知,增加未來失控及難以關閉的風險。蘇萊曼接受《路透》訪問時表示,他認同Anthropic安全管理AI的目標,也尊重執行長阿莫戴(Dario Amodei)及其團隊的善意,但認為將意識相關推測寫入Claude訓練材料是一項錯誤。
美股雷達
OpenAI執行長奧特曼(Sam Altman)表示,他對公司及整體人工智慧(AI)產業能在避免重大傷害的情況下持續推進技術發展抱持信心,但對外界目前討論AI安全議題的方式感到失望。Altman週二(15日)在舊金山舉行的Salesforce Dreamforce大會上,與Salesforce(CRM-US) 執行長Marc Benioff對談時表示,他對OpenAI及整個AI產業安全推進這項技術「非常有信心」。
美股雷達
人工智慧(AI)可能帶來的極端風險持續引發關注。一名前Google(GOOGL-US) DeepMind 研究人員週一(14日)公開警告,AI 具備「殺死全人類」的潛在能力,且人類可能已經沒有太多時間避免這種結果。根據《路透》報導,曾在 Google DeepMind 從事通用人工智慧(AGI)安全與對齊研究的 Bilal Chughtai 週一在 X 發文表示,他「認真相信 AI 有殺死我們所有人的潛力」,而且「我們可能正逐漸失去避免這種結果的時間」。