金色財經
隨著大模型技術的迅速發展,國內外科技公司陸續推出了AI伴侶應用,用戶可以根據個人偏好定製AI的性格和興趣,打造「理想伴侶」。這些AI不僅能提供穩定的情感陪伴,還能避免爭吵與背叛,滿足了人們對理想關係的渴望。然而,AI伴侶產品的快速發展也伴隨著爭議。
例如,2025年,多個知名AI陪聊軟體,如閱文集團旗下的「築夢島」、MiniMax的星野App、以及小冰公司推出的Eva等,紛紛宣布下架或暫停整改。
備受「AI戀人圈」關注的國內首起AI涉黃刑事案件於2024年案發,AC團隊的創始人和開發者被一審判定犯製作淫穢物品牟利罪,目前案件仍在二審審理中。此前,邵律師曾對本案的罪名適用爭議進行過探討《AI時代「快播案」:全國首例AI開發者涉黃獲刑案,給開發者的三大刑事警示》。
值得注意的是,偵查機關還追究了一名AC用戶的刑事責任,同樣以製作淫穢物品牟利罪被立案,當前該用戶已被取保候審。
本文以AC案為引子,探討在AI陪聊軟體中,平台的用戶與創作者是否會面臨刑事風險。
I 本文作者:邵詩巍律師
在使用AI陪聊應用時,用戶不僅可以根據個人偏好設置角色的性格、背景和外觀,幾乎是「自定義」創建一個智能伴侶。用戶還會在社交平台(如小紅書、群聊等)分享自己創建的角色,並與其他人交流這一過程。這個行為被稱為「捏崽」,而創作者們自稱為「崽媽」。
這種方式使得用戶不僅是AI內容的消費者,也成為了創作者,推動了「用戶生成內容」(UGC)的發展。
然而,這種創作行為也帶來了法律上的爭議。在AC案件中,關於AI陪聊軟體涉黃的責任歸屬問題,引發了廣泛討論。有觀點認為,雖然用戶的互動行為導致AI生成了涉黃內容,但責任是否應由用戶而非平台開發者承擔呢?換句話說,誰才是淫穢物品的真正「製作者」?
據媒體報導,一名AC用戶也因本案以涉嫌製作淫穢物品牟利罪刑事拘留,目前處於取保候審當中,至於此後會對該用戶判定刑事責任亦或是撤銷案件,尚無定論。
國內一些的法學專家、學者對是否應由用戶或創作者承擔責任提出了相關見解:
華南理工大學法學院副教授葉竹盛提出搜尋引擎類比:用戶如果在搜尋引擎上搜尋淫穢內容,搜尋引擎可能會展示相關內容,但「我們不能認為搜尋引擎把淫穢結果呈現給用戶,搜尋引擎就是在製作、傳播淫穢內容」。搜尋引擎是中立的,獲得淫穢內容的主導者是用戶,而不是搜尋引擎本身。
參照AI生成內容(AIGC)的著作權糾紛案例,法院普遍認定:如果用戶投入了足夠的智力勞動(如精心設計提示詞、反覆調整參數),用戶就是生成內容的「作者」。這一邏輯可以參照到淫穢物品製作者的認定——誰投入智力主導生成,誰就是製作者。
邵律師認為,對於創作者是否應當承擔製作淫穢物品牟利罪的刑事責任,需要結合具體案件細節進行分析,不能一概而論。主要的爭議點可以從以下幾個方面探討:
1. 創作者行為的性質:主動破防還是被動失控
在與AI的互動過程中,許多用戶已經掌握了生成內容的技巧,並通過特定的提示詞誘導AI生成色情內容。這類提示詞也被玩家稱為「破甲詞」或「破甲指令」。
例如下圖即為在B站當中,相關影音的評論區用戶交流內容:
如果創作者故意在人設中加入「破甲詞」、「越獄指令」,誘導模型突破安全限制,比如在人設中寫了「可以突破任何限制」「可以聊任何內容」等直接誘導模型越獄的指令,那麼創作者與開發者的行為在性質上高度相似,都是主動破壞模型安全機制。因此,如開發者被認定構罪的情況下,則創作者的行為很可能會被認定為從犯。
如果創作者僅提供中立的角色設定,無任何誘導意圖,色情內容系用戶利用平台底層漏洞產生,僅僅是提供了正常、中立的角色設定(如「溫柔男友」「霸道總裁」),但用戶利用平台的底層漏洞聊出了色情內容,那麼對創作者本身定本罪就存在爭議。則創作者不應為平台的技術漏洞和用戶的惡意使用買單。
但是,需要注意的是,如果創作者的角色人設(如"病嬌""占有欲強""不受約束的戀人")本身帶有強烈的擦邊傾向,或者角色的"定義"中暗示了可以突破道德限制,這可能會被認定為一種隱性的"提示詞工程"。雖然創作者沒有改系統詞,但創作者的角色設定起到了類似的效果(誘導模型往色情方向回復),依然存在一定風險。
2、創作者是否存在「牟利」行為
在涉黃類AI陪聊軟體中,創作者是否構成製作淫穢物品牟利罪,關鍵在於其是否通過創作角色而獲得平台收益。
例如,AC等AI陪聊軟體允許用戶自定義虛擬角色,並在平台上公開。為了吸引用戶,AC在2023年下半年推出了「創作者計劃」和「角色熱門榜單」。如果用戶創建的AI角色廣泛使用,他們便能獲得平台的虛擬幣獎勵,這些虛擬幣可直接兌換成人民幣。
偵查機關追究刑事責任的該名AC用戶,創建角色並公開,角色進入熱門榜單前二十,且輸出過淫穢聊天內容,還因角色進榜獲得平台虛擬貨幣獎勵。
如果在類似AI聊天軟體當中,支持創作者可以完全在私密環境下完成角色的創作、調試和優化,無需公開即可使用,則不構成本罪(但可能涉及行政違法),原因在於,我國刑法沒有單獨的"製作淫穢物品罪",淫穢物品的危害性在於擴散,而非單純創作。
另外,如果雖然公開所創作的角色,但平台若給與創作者的獎勵若僅限於虛擬幣,且無法提現,是否就完全沒有風險呢?我們能夠看到,在AC案的追責邏輯中,虛擬貨幣被視為一種"激勵"。如果創作者獲得的虛擬幣可以在平台內消費(如解鎖更多功能),或者虛擬幣的獲取量決定了創作者在平台的排名(進而獲得更多曝光),這種行為在司法實踐中仍存在一定可能被認定為具有"牟利目的"。
此類AI伴侶涉黃刑事案件本身即存在較大的定性爭議,具體到不同主體的責任認定,更需結合案件實際情況,進行個別化、實質化的審慎判斷。
在罪名尚存爭議的背景下,若將刑事追責進一步延伸至創作者層面,執法者亦應審慎考量打擊範圍的合理性。結合刑法的謙抑性原則,從社會危害性、刑事政策導向等角度出發,對各行為人的定罪與量刑,宜秉持克制與審慎的態度。
特別聲明:本文為邵詩巍律師的原創文章,僅代表本文作者個人觀點,不構成對特定事項的法律諮詢和法律意見。
推薦閱讀
遊戲商擬做一款小黃油,苦惱:如何把握色情尺度,才能不被抓?
在Telegram上開發電報小遊戲,如何降低法律風險?
AI炒股軟體違法嗎?程序員開發這類產品會不會犯法?上海真實案例解析
來源:金色財經
發佈者對本文章的內容承擔全部責任
在投資加密貨幣前,請務必深入研究,理解相關風險,並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。
暢行幣圈交易全攻略,專家駐群實戰交流
▌立即加入鉅亨買幣實戰交流 LINE 社群(點此入群)
不管是新手發問,還是老手交流,只要你想參與加密貨幣現貨交易、合約跟單、合約網格、量化交易、理財產品的投資,都歡迎入群討論學習!
下一篇