金色財經
騰訊雲 EdgeOne 今年四月發過一篇觀測文章，說在他們的 AI 爬蟲處置數據里，電商類網站的 AI 爬蟲訪問量排在所有行業第一。有個做優惠券聚合的導購平台，單日被 AI 爬蟲命中接近 20 萬次。這是廠商口徑，不是官方統計，但方向大致可信：攔爬蟲的思路正在從維護一份黑名單，轉向依據行為判斷這個訪客究竟是誰、想幹什麼。
對做 AI 產品的團隊來說，這事有兩面。你的 Agent、比價功能、選品模型，進貨渠道多半就是爬蟲；同時你自己的站點、文檔、定價頁，也正被別人的爬蟲讀走。一個很老的問題因此被重新問了一遍：網站根目錄下那個 robots.txt，我不遵守，會怎麼樣？
我把這些年的判決翻了一遍。答案不是一句話，是一道階梯，從根本賠不了錢，一直走到要判刑。
先把這個文件是什麼說清楚。
1994 年，荷蘭工程師 Martijn Koster 提出，網站可以在根目錄放一個文本文件，告訴爬蟲哪些目錄不必抓。同年 6 月，一群寫爬蟲的人在郵件組裡形成了一份《機器人排除標準》，文檔寫得很老實：它不是由標準組織備案的官方標準，沒有強制執行力，也不能保證所有目前的或未來的爬蟲都會使用它。1997 年 Koster 把它提交給網路工程任務組，想推成行業標準，至今沒有被採納。
上面這些不是我總結的，是北京市高級人民法院在判決書里查明的事實。
它的語法更說明問題。默認值是「允許」：一個網站沒放 robots.txt，或者文件內容是空的，就等於對所有爬蟲開放；要禁止，才需要專門寫一行 Disallow。這個文件的原始設計意圖是引導，不是圍牆。
所以在中國法下，它不構成合約。
合約要有要約、承諾和當事人的合意，而你的爬蟲訪問一個網頁，沒有任何一個環節達成過合意。這就像飯店門口貼着「謝絕自帶酒水」，你帶了，店家可以請你出去，但沒法告你違約，因為雙方壓根沒簽過合約。
補一句邊界：平台協議和 robots.txt 是兩碼事。你註冊賬號時點過的「我已閱讀並同意」，那份用戶協議是有合約效力的，違反它屬於另一個問題。
既然不走合約，走什麼？
2020 年 7 月 3 日，北京市高級人民法院在奇虎訴百度案的二審判決里把話說死了：
本案爭議的核心並不在於robots協議本身的效力，而在於百度網訊公司、百度在線公司對robots協議的涉案使用行為是否構成反不正當競爭法第二條規定的不正當競爭行為。
法院不評價這份協議有沒有效力，只審查當事人拿它幹了什麼。
落腳點在《反不正當競爭法》第二條：
第二條經營者在生產經營活動中，應當遵循自願、平等、公平、誠信的原則，遵守法律和商業道德，公平參與市場競爭。
本法所稱的不正當競爭行為，是指經營者在生產經營活動中，違反本法規定，擾亂市場競爭秩序，損害其他經營者或者消費者的合法權益的行為。
案子的背景是當年的 3B 大戰。百度的 robots 協議采白名單制，360 搜尋上線後一直沒被列入，奇虎起訴，兩審都判百度構成不正當競爭，賠 20 萬元。反方向那個案子裡，百度告 360 不守 robots 強行抓取，一審判奇虎賠 70 萬元。同一份協議，兩個方向都判了不正當競爭。
判決里還有一段類比，是法官自己寫的人話：
如果把網站比作一個對公眾開放的博物館，robots協議就相當於在博物館入口處懸掛的提示牌，告知遊客哪些區域不對外開放……提示牌的內容對所有遊客應一視同仁，如果要禁止某一類人進入參觀，則需要有合理、正當的理由。
順着這個類比，法院列出了三種能被接受的正當理由：保護網站的內部資訊或者敏感資訊，維護網站的正常運行，保護社會公共利益。除此之外，按經營主體而不是按資訊內容把人擋在門外，就帶有針對性和歧視性。
這把尺子到了非搜尋引擎場景，刻度會變。
2016 年 4 月，微博在 m.weibo.cn 的 robots.txt 里單獨把今日頭條的爬蟲 ToutiaoSpider 拉黑，其餘爬蟲照抓不誤。字節跳動起訴索賠 1 億元，北京知識產權法院一審判微博構成不正當競爭、賠 30 萬元。2021 年 10 月 8 日，北京市高級人民法院二審全案改判，駁回字節跳動的全部訴訟請求。
改判的理由有兩層。一是二審認定被一審當作商業道德依據的《網路搜尋引擎服務自律公約》，只是搜尋引擎服務行業的商業道德，不能當成整個網路行業通行的商業道德。二是更要緊的這一句：
搜尋引擎是給被搜網站帶來流量和利益，而非搜尋引擎的網路機器人往往不是給被搜網站帶來流量，反而可能帶走被搜網站的流量。
搜尋引擎抓完把用戶送回來，AI 爬蟲抓完直接給答案，用戶不必再訪問原站。按這個分野，AI 爬蟲站在「帶走流量」那一側。所以網站單方屏蔽某個 AI 爬蟲，只要不損害消費者利益、公共利益和競爭秩序，原則上屬於企業自主經營權。
同一對當事人還有另一個案子。北京市海淀區人民法院 2021 年 5 月 17 日判決，字節跳動把抓取的微博內容直接搬進「微頭條」，構成不正當競爭。
兩個判決合起來讀，結論相當清晰：我屏蔽你，不違法；你抓走我的內容做出一個替代我的產品，你違法。
北京高院最後留了一句餘地：這並不意味著網路企業設置的任何 robots 協議都能憑自主經營權當然具有正當性。
讀到這裡容易得出一個錯誤結論：那我老老實實按 robots 寫的來抓，總沒事了吧。
去年年底二審終結的那個案子給了答案。網智天元營運的「戰鷹」輿情產品抓取騰訊新聞數據，累計超過 11 萬條，在自己的 App 里提供全文瀏覽和分析報告，向 SVIP 用戶和企業客戶收取 4998 元到 16 萬元不等的年費。騰訊索賠 3000 萬元。
被告的核心抗辯就是這句：騰訊公示的爬蟲協議明確允許其他經營者抓取新聞數據，我們是照着協議做的。福州市中級人民法院一審的回應，是這兩年數據抓取領域最鋒利的一句：
法院明確數據流通應遵循「授權+限制」原則，騰某公司一方允許數據抓取係為了保障公眾獲取資訊，不意味著允許營利性商用。
一審判賠經濟損失 200 萬元、合理開支 28 萬餘元，福建省高級人民法院二審駁回雙方上訴，維持原判。
允許抓取只回答「能不能取」，不回答「取了能拿去幹什麼」。
後一個問題由平台協議、競爭秩序和商業道德回答。
另一個數字更嚇人。高德的「擁堵延時指數」掛在網站上公開可查，萬得通過變換 IP 地址、偽造瀏覽器標識抓走，放進 WIND 金融終端向付費用戶提供，抗辯說這是公開資訊、是人工採集的，法院沒有採納。北京市朝陽區人民法院一審判賠 1250 萬元，北京知識產權法院二審維持，判賠突破了法定賠償上限。
公開擺着，不等於免費拿走再賣。
以上判決適用的都是舊法，靠第二條那個一般條款兜底。去年 10 月 15 日起，情況變了。
二次修訂的《反不正當競爭法》施行，網路專條從舊法第十二條挪到了第十三條，並且新增一款專門管數據：
經營者不得以欺詐、脅迫、避開或者破壞技術管理措施等不正當方式，獲取、使用其他經營者合法持有的數據，損害其他經營者的合法權益，擾亂市場競爭秩序。
罰則一併給了：
第二十九條經營者違反本法第十三條第二款、第三款、第四款規定利用網路從事不正當競爭的，由監督檢查部門責令停止違法行為，處十萬元以上一百萬元以下的罰款；情節嚴重的，處一百萬元以上五百萬元以下的罰款。
這一款把手段的不正當性寫成了明確類型，不必再每個案子都從商業道德講起。真正要盯緊的是那六個字：技術管理措施。
登錄牆、權限校驗、接口驗簽、風控與人機驗證、頻率限制、付費牆，這些都算，因為它們物理上攔得住你。robots.txt 攔不住任何一次訪問，你的爬蟲無視它照樣取到全部內容，它是聲明，不是裝置。北京高院在微博那個案子裡說得很直白：無論是否遵守，robots 協議都不會起到強制禁止訪問的結果。
這個判斷跟著作權法同源。《著作權法》第四十九條第三款給技術措施設了「有效」的門檻：
本法所稱的技術措施，是指用於防止、限制未經權利人許可瀏覽、欣賞作品、表演、錄音錄像製品或者通過資訊網路向公眾提供作品、表演、錄音錄像製品的有效技術、裝置或者部件。
一行提示文字達不到這個門檻。
所以對照着看，新法罰的是撬鎖，不是無視告示。
高德那個案子裡的變換 IP、偽造瀏覽器標識，就是標準的撬鎖動作。
再往上一級，性質變了。
第二百八十五條第二款違反國家規定，侵入前款規定以外的計算機資訊系統或者採用其他技術手段，獲取該計算機資訊系統中儲存、處理或者傳輸的數據，或者對該計算機資訊系統實施非法控制，情節嚴重的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。
「情節嚴重」不是模糊詞，法釋〔2011〕19 號給了數字：
第一條非法獲取計算機資訊系統數據或者非法控制計算機資訊系統，具有下列情形之一的，應當認定為刑法第二百八十五條第二款規定的「情節嚴重」：
（一）獲取支付結算、證券交易、期貨交易等網路金融服務的身份認證資訊十組以上的；
（二）獲取第（一）項以外的身份認證資訊五百組以上的；
（三）非法控制計算機資訊系統二十台以上的；
（四）違法所得五千元以上或者造成經濟損失一萬元以上的；
（五）其他情節嚴重的情形。
違法所得 5000 元，經濟損失 1 萬元。
這個門檻低到很多創業團隊沒有概念。
被稱為全國首例爬蟲入刑的那個案子，上海一家公司用爬蟲抓取他人服務器里的影音數據，法院以非法獲取計算機資訊系統數據罪判處被告單位罰金 20 萬元，四名被告人分別獲刑一年到九個月。江蘇常州那起涉 AI 技術非法獲取數據案更貼近今天：被告單位的 AI 互動平台繞過某社區電商 App 的加密算法，偽造請求抓走用戶數據，又破解私信接口給付費商戶投廣告，違法所得 600 余萬元。
還有一條容易被忽略。最高人民檢察院第 36 號指導性案例確認，超出授權範圍使用賬號、密碼登錄計算機資訊系統，屬於侵入計算機資訊系統的行為。這條對做 Agent 的團隊尤其要緊：你的 Agent 拿着用戶給的賬號密碼登進平台，用戶授權了，不代表平台授權了。
做 AI 產品、需要抓數據的一方，合規重心要從「有沒有遵守 robots」挪到兩個地方。
手段上，登錄、驗簽、風控、限速這四道機關，一道都不能繞過，繞過任何一道，性質就從商業糾紛變成撬鎖，重了變成刑事案件。用途上，不做原站的實質性替代，不把抓來的數據集本身對外有償提供。再補一個證據習慣：抓取前存下目標站 robots.txt 的快照，過程中留存頻率日誌，真被起訴時，這是你證明自己既沒規避、也沒壓垮對方服務器的底氣。
被抓的一方，比如電商平台和內容站點，要接受一個現實：robots.txt 單獨放着基本沒用，它在訴訟里的作用是證明你表達過意思，不是攔住誰。有法律意義的動作是兩個。一是把限制落到技術上，登錄牆、接口鑒權、頻率限制、風控，一旦部署，對方繞過去就直接接通新法第十三條第三款乃至刑法第二百八十五條。二是在平台協議里寫明禁止未經許可的商業化使用，這一條在戰鷹案里是騰訊勝訴的關鍵。另外，屏蔽特定爬蟲原則上屬於自主經營權，但按經營主體做歧視性區分又拿不出正當理由的，仍有被訴風險。
中間那批 Agent 服務商和數據服務商，兩頭都不占：往上替客戶抓別人的數據，往下把數據交付給客戶。授權鏈條要能一路追到最終用戶，合約里寫清楚數據來源和使用範圍的責任分配。別拿技術中立當擋箭牌，福州中院在戰鷹案里專門講過，對合法性的審查需要突破技術中立的形式束縛。
回到開頭那個問題。AI 爬蟲犯了什麼法？
不遵守 robots.txt 這件事本身，什麼法都不犯。
但它是一張擺在門口的告示，你無視它之後走出的每一步，都可能踩到別的東西：搶了人家的生意，撬了人家的鎖，最後進了人家的系統。判決書里被追究的從來不是那一行 Disallow，是你越過它之後幹了什麼。
數據這門生意，取之有道四個字現在是有價碼的。
如果你正在做 AI 產品，被平台屏蔽了，或者收到了對方的律師函，可以後台留言聯繫我。
• 北京市高級人民法院（2017）京民終487號民事判決書，百度網訊、百度在線與奇虎不正當競爭糾紛二審
• 北京市第一中級人民法院（2013）一中民初字第2668號、（2013）一中民初字第13657號民事判決書
• 北京市高級人民法院（2021）京民終281號民事判決書，微夢創科與字節跳動不正當競爭糾紛二審
• 北京知識產權法院（2017）京73民初2020號民事判決書；北京市海淀區人民法院（2017）京0108民初24530號民事判決書
• 福州市中級人民法院《公開新聞數據≠免費資源，輿情分析豈能任性爬取？》案件通報；中國知識產權報關於福建省高級人民法院二審的報導
• 北京市朝陽區人民法院「朝陽法苑」《抓取並使用導航電子地圖數據盈利，法院一審認定構成不正當競爭賠償1250萬》；北京知識產權法院二審維持
• 《中華人民共和國反不正當競爭法》（2025年6月27日第二次修訂，2025年10月15日施行）
• 《中華人民共和國刑法》第二百八十五條；《最高人民法院、最高人民檢察院關於辦理危害計算機資訊系統安全刑事案件應用法律若干問題的解釋》（法釋〔2011〕19號）
• 《中華人民共和國著作權法》（2020年修正）第四十九條
• 《網路搜尋引擎服務自律公約》（中國網路協會，2012年11月1日）
• 最高人民檢察院第36號指導性案例，衛某等人非法獲取計算機資訊系統數據案
• EdgeOne《AI 爬蟲處置實踐：電商網站如何防止商品數據被 AI 爬蟲抓取》（廠商觀測口徑，非官方統計）
本文作者：呂盈輝律師
來源：金色財經
發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。
暢行幣圈交易全攻略，專家駐群實戰交流
▌立即加入鉅亨買幣實戰交流 LINE 社群（點此入群）
不管是新手發問，還是老手交流，只要你想參與加密貨幣現貨交易、合約跟單、合約網格、量化交易、理財產品的投資，都歡迎入群討論學習！
下一篇
