金色財經
作者:Vaidik Mandloi;來源:TokenDispatch;編譯:Shaw,金色財經
最近有一名數據中間商打算向一家 AI 實驗室出售數據集。他按 TB(太字節)報價 —— 這也是目前行業通行的計價方式,因為業內至今沒人能算出數據的真實價值。他交付文件前,自己甚至都沒有打開查驗。結果 AI 實驗室解壓後發現,文件夾底層藏了大約 4000 份《冰雪奇緣 2》的拷貝文件。原來是有人往數據集裡塞入迪士尼電影,刻意虛增數據體量。
我估計這家數據中間商再也不會收到這家 AI 實驗室的消息了。但最驚人的是,這並非什麼見不得人的地下交易。過去兩年間,AI 數據經紀已經發展成一個正規的商品交易市場,業務核心就是向前沿 AI 實驗室出售各類專有數據。僅其中一家數據經紀商,年收入就高達 1.44 億美元。
過去幾周,我深入拆解了這個市場的真實運作模式,以及各家企業對它的看法,我們一起來一探究竟!
首先要理解這個市場誕生的底層原因,就在短短數月之前,沒有人能想象數據會形成這樣一個交易市場。
過去十年,各大 AI 實驗室都依靠網路公開網頁訓練模型。維基百科、紅迪網(Reddit)、數字化圖書、老舊論壇帖子,只要能夠爬取到的內容,都會被餵入模型。GPT-3 發布時,訓練消耗了約 5000 億 token 文本;三年後推出的 GPT-5,訓練消耗量達到數兆 token。
每一代模型對數據的需求都比上一代更大。2025 年前後,數據消耗速度開始超過新增可用知識庫。Epoch AI 測算,高質量公開文本資源大機率將在 2026 至 2032 年間基本耗盡。各大實驗室此前免費爬取內容的 Reddit,如今要獲取其存檔數據,每年需要支付約 6000 萬美元。
如今數百萬網站已經徹底封禁網路爬蟲。2024 年的一篇論文指出:當人類原創文本枯竭,人們自然會用 AI 生成文本(又稱合成數據)作為替代方案,但用合成數據持續訓練模型,會造成後續迭代版本的輸出質量持續衰減。研究者將該現象命名為模型坍縮(model collapse),通俗來講:如果反覆把模型自己生成的文本餵回去訓練,模型會慢慢喪失推理能力。
就這樣,公開網路不再是穩定可用的訓練數據源,各大實驗室不得不另尋數據來源。
他們發現,現存最豐富的數據源,多年來一直沉澱在普通企業的私有系統之中。包括 Slack 聊天存檔、郵件往來記錄、CRM 客戶數據庫、企業內部維基,還有員工日常工作附帶產生的各類營運數據。這些數據已經在雲儲存里堆積了十年,過去沒人想到它還可以拿來出售。
這類數據常被稱作數據尾氣(data exhaust),因為它是無意識產生的產物。沒人早上坐到工位時,會考慮自己即將發送的 Slack 消息具備模型訓練價值。數據是工作的副產品,就像汽車行駛會產生尾氣。人們在毫無察覺的情況下留下這些資訊,日積月累,體量巨大;企業內部甚至從未統計過數據規模,更不用說將其變現。
赫爾南多・德・索托曾在《資本的秘密》一書中描述過類似現象,儘管他探討的主題完全不同。他提出:在發展中國家,民眾擁有住房、經營生意、耕種土地,但始終無法把這些資產轉化為資本。資產真實存在,人們依靠它們居住、養家糊口,但在金融體系的視角下,這些資產等同於不存在。
這類沉睡資產無法參與更大範圍的經濟循環,因為缺少一套制度工具,把它們轉化為可交易標的。大約在 2024 年之前,任何一家擁有五年 Slack 歷史數據的企業都處於同樣處境:員工日常工作持續產出有價值的營運數據,不斷堆積在雲儲存中,卻沒有定價機制 —— 因為數據交易市場根本尚未建立。
有趣的是,一旦需求出現,配套市場基礎設施的搭建速度極其驚人。原油交易活躍了上百年,紐約商品交易所(NYMEX)直到 1983 年才推出標準化原油期貨。而 AI 訓練數據市場,把這上百年的演化歷程壓縮到不到 24 個月。
如今行業已經形成標準化交易條款:兩年獨家授權期、買方 30 天核驗期、60 天付款周期;還有推薦分銷網路,數據中間商最高可拿到交易金額 50% 的傭金。
單筆交易的平均金額在 20 萬至 30 萬美元之間。如果你向旁人描述這類典型交易的運作方式,對方大多會以為是商業地產交易或是某種特種金融工具。但他們絕對猜不到,交易標的竟然是一家屋面工程承包商五年的 Slack 聊天記錄。
AI 實驗室對數據的需求同樣近乎狂熱,而且對所需數據有著極高的精細化要求。
中間商都會收到實驗室發來的詳細需求清單,明確列出當下想要獲取哪個行業的數據。我在拆解這些需求時發現,其精細程度本身就是很值得研究的資訊!他們需要晶片設計驗證流程、濕實驗室實驗日誌、臨床試驗記錄,還有工廠車間頭戴攝影機拍攝的影像資料。
一名中間商提到,曾收到需求,要屋面承包商、稅務事務所、貨運公司那些看似冷門的內部業務流程記錄。AI 實驗室想要幾乎所有垂直行業的相關資料,涵蓋航空航天、保險乃至獸醫行業。不妨想一想這背後的含義:一家每年投入數十億美元用於模型訓練的企業,向中間商下達採購清單,專門索要貨運公司和屋面承包商的內部流程文檔,這本身就暴露了它的產品路線圖。
如此精細的數據需求,並非只是為了模糊地追求讓模型變得更聰明。其目標是打造能夠落地執行特定行業日常實務工作的 AI 系統。它們瞄準的行業範圍十分廣泛,影響幾乎覆蓋所有白領崗位。但這個市場的供給端,大多還沒看懂這一切背後的意義。
提交給大型數據中間商的資料中,大約有一半會被直接拒收。這些被拒案例很有參考價值,它們能體現出賣方距離理解買方真實需求還有多大差距。
中間商反饋,曾收到標註為 「高質量對話」 的 40GB WhatsApp 聊天記錄,結果內容只是某個人和親友的全部閒聊記錄。還有人提供 13 小時門鈴攝影機錄像,把它包裝成 「人類真實情緒」 數據集。
那些看起來體量最亮眼的提交材料,往往最為荒唐好笑。原因在於,這個市場至今還沒有找到衡量數據價值的方法。賣方大多按照 TB 報價,因為目前沒有更好的定價方案,這就直接催生了一種動機:不管文件內容如何,儘量把文件做大。買方則以員工數量、經營年限作為粗略替代指標 —— 這是雙方唯一能達成共識的統計口徑。但沒有人能夠有效衡量底層數據本身的質量,也就是說,整個市場都依靠模糊的標準與指標在運行。
這非常類似於 19 世紀的棉花貿易。利物浦棉花交易所的商人,可以收到美國南部各個港口的電報消息,掌握作物產量、船期的實時情報,以及蘭開夏郡紡織廠的需求數據。
但實際種植棉花的莊園主幾乎完全不了解這些資訊。莊園主只能按照商人給出的價格出售,沒有獨立渠道判斷報價是否公允。這種資訊不對稱持續了數十年,直到期貨合約與公開定價機制出現,種植戶才獲得足夠資訊,得以平等談判。
如今的數據市場正處在同樣發展曲線的最開端。而且這裡的賣方比當年棉農更加被動,至少棉農清楚棉花的用途。
我可以用從一位 AI 數據中間商那裡聽來的真實案例進行說明。
一家 SaaS 企業的所有者提交了長達十年的內部溝通記錄,涵蓋 Slack、WhatsApp 和 Discord。這是一家仍在營運的企業,整整十年的營運數據。從紙面資訊來看,這正是前沿實驗室願意斥資數百萬美元收購的存檔資料。
但中間商評估這份數據集時,只認可最近兩年的數據。為什麼?因為這家企業每隔幾年就更換一次通訊平台,每一次遷移都會破壞連續性,而連續性恰恰是營運數據能夠用於模型訓練的核心前提。
實驗室需要看到的,是團隊如何升級問題處理流程,完整還原一群人共同解決一件事的全過程。如果項目進行到一半,溝通記錄從 Slack 切換到 WhatsApp,完整敘事鏈條就斷裂了。記錄變得碎片化,而碎片化記錄幾乎沒有訓練價值。
之所以失去訓練價值,是因為實驗室買的不是聊天消息本身。他們購買的是蘊藏在對話里的行為模式,是資深從業者在情況模糊、操作手冊失效時做出判斷的完整記錄。
英籍匈牙利博學家邁克爾・波蘭尼在 20 世紀 50 年代提出了 ** 默會知識(tacit knowledge)** 這一概念來描述這類知識。他經典的例子就是騎自行車:你知道怎麼騎,卻無法寫出一套指令教會別人。這類知識根植於人的條件反射與肌肉記憶,傳遞它的唯一方式,就是讓另一個人親自去騎車,直到身體自行掌握。
組織內部充滿這類默會知識。SaaS 公司的資深工程師清楚,凌晨 3 點的生產告警哪些需要叫醒團隊處理,哪些可以等到次日早上。這種判斷和監控面板上的嚴重等級標籤無關,來自長年積累的模式識別,源於一次次踩坑後形成的直覺,而這套直覺無法寫進任何運維手冊。
管理諮詢企業花了半個世紀,試圖提煉並固化這類營運判斷。麥肯錫甚至為此設立了整套業務線。但核心難題始終沒變:你可以在一家企業駐場數月,採訪數十人,觀察他們的工作方式,最終也只能掌握這家組織實際能力的一小部分。因為這類知識深深嵌入日常習慣,人們很難清晰地把它完整表達、交付出去。
而 AI 訓練徹底改變了這一點。模型可以讀取企業連續五年的內部溝通記錄,從中提取資訊,壓縮成模型權重,並在完全不同的場景復現對應的能力。
這就是這個市場誕生的根源。AI 實驗室意識到,地球上最豐富的默會知識來源,就是企業經營過程中附帶產生的營運數據。過去沒人認為它值得收購,因為此前沒有技術可以大規模處理這類資訊。
這也是為什麼倒閉初創企業的檔案會成為市場天然起點:不存在倫理層面的顧慮。但市場不會止步於此,畢竟倒閉企業的數據供給本身存在上限;而 AI 實驗室的目標,需要源源不斷、可持續獲取的、來自在職人員的行為數據。
於是市場重心持續轉移:從已倒閉企業存檔,到仍在經營的企業出售員工正在產生的溝通記錄,再到某科技巨頭在員工電腦上安裝監控軟體,記錄員工完成工作的精細過程。
如果下一代 AI 的核心依賴專有行為數據,而非網路公開文本,那麼 AI 領域的競爭優勢會發生難以察覺的轉移。當下輿論焦點大多集中在 AI 實驗室、GPU 廠商、雲服務商,以及算力競賽的贏家身上。
但算力只是規模擴張問題,只要投入資金就能解決。行為數據則是信任問題。就算開出更高的支票,倘若數據生產者不信任你,你就無法買到醫院的醫患交互記錄、律所三十年卷宗。那些坐擁海量默會知識檔案的機構 —— 製造企業、金融機構、積累數十年營運判斷的專業服務公司 —— 手握實驗室無法復刻、也無法繞開的資源。而它們中的大多數,對此一無所知!
來源:金色財經
發佈者對本文章的內容承擔全部責任
在投資加密貨幣前,請務必深入研究,理解相關風險,並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。
暢行幣圈交易全攻略,專家駐群實戰交流
▌立即加入鉅亨買幣實戰交流 LINE 社群(點此入群)
不管是新手發問,還是老手交流,只要你想參與加密貨幣現貨交易、合約跟單、合約網格、量化交易、理財產品的投資,都歡迎入群討論學習!
上一篇
下一篇