爬蟲

07-14

Google AI爬蟲無法封鎖！Cloudflare也無力對抗Gemini抓取數據

全球最大內容分發網路之一 Cloudflare 近日推出一項新功能，允許網站擁有者一鍵封鎖 AI 公司爬蟲，以防止網站內容被用來訓練大型語言模型。然而，此功能對 Google (GOOGL-US) 爬蟲完全無效，成為業界廣泛關注的爭議焦點。專家指出，造成問題的核心在於，Google 將搜尋索引與 Gemini 大型語言模型的資料蒐集工作，都交由同一個爬蟲執行，兩者共用 IP 與 HTTP 標頭。