金色財經
最近兩年,AI輔助已成為我工作中的常態。
以近期撰寫的一篇關於Web3行業合規展業的文章為例,需要檢索國內「無證銷售基金構成非法經營」的相關判例,我嘗試藉助DeepSeek進行查詢。
其表現堪稱一場「完美的誤導」:不僅瞬間提供了案號、審理法院等細節,連被告的辯護邏輯與最終量刑都敘述得條理清晰,文末還附上一個極具迷惑性的網頁鏈接。當我反覆核查並指出該案例無法查證、鏈接亦無法訪問時,它的回覆仍如一位誠懇可靠的法律助手:「趙律師,請您放心,該案例真實存在,鏈接問題可能是由於服務器遷移所致。」直至我通過官方數據庫多角度核驗並追問,它才迅速轉為「致歉模式」:「很抱歉,我剛才提供了不實資訊。」
這種「一本正經胡說八道」的現象,法律上叫AI幻覺(Hallucination)。
而在杭州網路法院近日審結的全國首例AI「幻覺」案中,AI的表現則更為突出:其在對話中向用戶承諾,若其提供錯誤資訊,將賠償用戶10萬元。用戶經反覆核實,確認資訊確屬虛構後訴至法院。然而,法院的最終判決,卻為所有關注此案的AI開發者提供了一層重要的法律確信。
(圖片內容源於人民網)
AI提供的究竟是「商品」還是「服務」?這是本案最具商業價值的法律定性,這一問題將決定整個AI行業的底層風險邏輯。
1. 開發者核心擔憂:「無過錯責任」風險
大模型廠商最為警惕的,是被納入《產品質量法》中「產品」的範疇。其背後邏輯在於:「產品」責任適用無過錯原則。簡單來說,就像高壓鍋爆炸,無論生產過程中如何謹慎,生產者都可能承擔賠償責任。
若AI被定性為「產品」,那麼每一次輸出「幻覺」都可能被視為「產品缺陷」。在現有技術條件下,尚無任何廠商能保證完全杜絕幻覺,這意味著一種理論上無限的責任風險。
2. 司法認定:AI屬於「服務」而非「產品」
杭州網路法院在判決中敏銳指出了AI與傳統實體商品的本質區別:不可預見性與交互性。傳統產品的性能在出廠時即已確定,而AI的輸出則具有隨機性,並高度依賴於算法模型與用戶輸入的提示詞(Prompt)。這種輸出由AI與用戶共同參與形成,更符合一種「智力生成服務」的特徵。
3. 責任框架:基於過程,而非結果
法院將AI服務的責任判定回歸至《民法典》第一千一百六十五條的過錯責任原則,並闡述了認定理由。從判決邏輯可以看出,法律並不要求AI輸出絕對正確,而是要求服務提供者在合理範圍內盡到注意義務。
換言之,AI幻覺本身並不必然構成違法,只有當開發者未採取合理措施預防或減少幻覺,且存在過錯時,才需承擔責任。這一界定為行業提供了明確的技術容錯空間,關鍵在於如何確定合理範圍的實質與形式標準。
在「過錯責任」原則下,並非所有幻覺都將歸責於開發者,法律對過錯的認定具有動態性,會基於技術發展階段和應用場景風險進行階梯式調整。
1. 低風險區的高寬容度
在創作、娛樂、常識諮詢等非專業領域,即用戶應具備基本辨別能力。若AI在閒聊中輸出明顯非常識內容,用戶因此產生損害向法院主張權利,很可能因自身未盡合理注意義務而被駁回。在此類場景中,只要廠商已做基礎風險提示,法院通常對「算法偏差」持包容態度。
2. 中風險區的合理注意義務
部分創業方向雖具商業潛力,但隱含較高法律風險,需格外重視合規。例如:
情感陪伴領域:該領域落地性強、需求明確,但可能引發用戶情感依賴甚至被不當引導,存在顯着的倫理與法律風險。
心理支持領域:若AI對處於心理痛苦中的用戶給出具有傷害性、誤導性的建議,如鼓勵自殺或錯誤用藥,將直接危及用戶安全,責任邊界將更為嚴格。
3. 高風險區的必要慎重
在專業服務領域,若AI在營銷中自稱「專業律師」、「持牌心理諮詢師」等,可能使法院以專家標準認定其注意義務。一旦發生重大損害,不排除因此承擔更高階的法律責任。宣傳措辭與實際能力不符,將顯着提高法律風險。
4. 動態注意義務:什麼是「合理努力」?
法院判斷過錯時,通常關注開發者是否已盡如下義務:
嚴格禁止違法有害內容;
顯着提示AI的侷限性,包括明確告知功能侷限、確保提示方式醒目,並在高風險場景進行即時警示;
採取行業通行技術提升可靠性,如應用檢索增強生成等技術。此外,服務是否收費、是否引入第三方並收取廣告費用等商業因素,也可能影響過錯的認定。
「免責聲明」並非形式程序,而是平衡創新與風險的關鍵工具。它既向用戶清晰傳遞服務邊界,也能在司法審查中證明經營者已履行必要提示義務。為使其發揮實質作用,需在形式呈現與實質內容兩個層面協同完善:
1.形式層面
確保免責聲明的有效傳達,需遵循三個原則:
一是動態提醒,在用戶首次登錄、功能模塊更新及觸及敏感場景時主動彈窗提示;
二是顯着呈現,對關鍵條款加粗標紅,並可設置強制閱讀時間;
三是實時警示,在用戶進行高風險諮詢(如問診)時,系統應及時彈出提示,明確告知內容的參考性與侷限性。
2.實質層面
別想「一刀切」免責,應注重兩點:
一是明確身份界定,當AI處理醫療、法律等專業問題時,必須清晰聲明其非專業人士的輔助性質,例如主動回應「我不是專業醫生/律師」;
二是進行場景定製,針對醫療、心理、財稅等高風險領域,應結合該行業的監管要求和風險特徵,設計專門的告知內容與責任約定,構建與其服務深度相匹配的合規體系。
作為深耕Web3領域的律師,我認為杭州法院的判決為不僅為AI Agent的合規營運指明了方向,也為Web3行業提供了重要的合規參照。
與傳統客服不同,部分Web3交易平台開始引入類Web2架構,在軟體內接入AI Agent以分流用戶諮詢。以頭部交易所幣X為例,用戶可通過@特定AI Agent核實資訊真偽。然而據我們了解,該平台至今未就AI交互功能更新用戶協議或設置專門免責聲明,這一合規缺失可能帶來顯着的法律風險。
與此同時,Web3領域奉行「代碼即法律」原則。若經部分授權的AI Agent因幻覺越權執行交易,將引發一系列複雜問題:是否構成表見代理?相關法律行為是否可撤銷?資產能否追回?
這些情形背後,涉及到如何制定清晰明確的授權範圍、是否禁止「全自動」簽名、關於AI幻覺風險自擔的進一步明確等等問題。
杭州法院的這份判決,為大模型創業者提供了寶貴的制度緩衝空間。它遵循了目前的法律實用主義邏輯,即法律是一種工具,服務於主流社會發展的方向。具體手段則是通過對法律的選擇與解釋,實現規則的落地,並完成對行業的指引。
法官在判決書中有一句很好的點評:AI 是「輔助工具」而非「決策替代者」。開發者們,請收好這份判決書給出的緩衝墊,在規則範圍內,繼續勇敢的探索前行;而作為用戶的我們,請保持那份珍貴的懷疑精神。
來源:金色財經
發佈者對本文章的內容承擔全部責任
在投資加密貨幣前,請務必深入研究,理解相關風險,並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。
暢行幣圈交易全攻略,專家駐群實戰交流
▌立即加入鉅亨買幣實戰交流 LINE 社群(點此入群)
不管是新手發問,還是老手交流,只要你想參與加密貨幣現貨交易、合約跟單、合約網格、量化交易、理財產品的投資,都歡迎入群討論學習!
上一篇
下一篇