Cloudflare 新制預設封鎖 AI 爬蟲並推「Pay-Per-Crawl」市集，可能迫使 AI 業者付費取用內容，內容出版商與 CDN 迎來新估值敘事。
（前情提要：Meta狂搶AI人才，祖克伯喊「年薪破億美元」；Sam Altman酸：買不到最好員工 ）
（背景補充：OpenAI 傳將推 AI 版 Office 辦公軟體，與微軟、Google 正面交鋒 ）
當前全球超 16% 的網路流量都通過 Cloudflare，是網路生態重要基石。本週，該公司發布新規：即日起所有新註冊網域，皆預設封鎖 AI 爬蟲，並同步推出「Pay Per Crawl」機制。這一步，讓長期免費撈取資料的大模型忽然面臨收費閘門，也讓內容擁有者首次握住議價槓桿。
政策要點：預設封鎖與按次付費
Cloudflare 新規把爬蟲存取模式從「預設允許」翻轉為「需經許可」，新網域立即啟用阻擋；舊客戶則可在後台一鍵切換。
更關鍵的是「Pay Per Crawl」新制，網站管理員得以為「訓練、推論、搜尋」三種用途設定不同價格。當爬蟲抵達網站，伺服器將回傳 HTTP 402 Payment Required，要求先付費再取用。由 Cloudflare 代收費用及結算，並提供用途、頻率與付款報表。
執行長 Matthew Prince 公開說：
「我們的目標，是讓內容創作者重新掌握對智慧財產的控制權，並從中獲得合理回報。」
市場反應：媒體歡迎，實驗室憂慮
已公開承認流量受到影響的大型出版商如 TIME 與 BuzzFeed 已加入試點，希望透過新機制為流量增添訂閱與授權之外的第三條收入（畢竟 AI 整理過資料後，讀者就沒必要在瀏覽原始網頁）。
相反的，OpenAI、Google 等開發者則警告，Cloudflare 正成為「中介商」，並強調他們一直遵守 robots.txt。英國律師 Matthew Holman 指出：
「若封鎖政策普遍生效，必然拖慢模型訓練速度，這會是短期內 AI 產業的巨大挑戰。」
根據推估，若透過付費新增 1 兆個訓練標記，成本可能達數億美元，直接推高模型研發門檻。
資本視角：內容授權成新賽道
專家估算，「內容授權」的市場規模有機會從零衍生成數十億美元級產業。同時，若 Cloudflare 成功推廣付費模式，差異化將進一步擴大，對 Fastly、Akamai 構成壓力，資本市場已重新評價 Cloudflare 的戰略位置。
後續觀察：資料黑暗期還是價值重分配
假如未來「預設封鎖 AI 爬蟲」被其他 CDN 或雲服務廣泛採納，大模型可能陷入短暫「資料黑暗期」。業者勢必需尋找替代方案，例如生成合成資料、與內容持有人簽訂授權協議，或利用區塊鏈追蹤版權。歐盟 GDPR 與法國 CNIL 對資料「合法利益」與「最小化」的強調，也與此趨勢相符。
Cloudflare 新制度等於把「資料就是新石油」具象化：AI 公司未來或不再能免費加油，而要依量付費；不過對內容生產方來說則可能是好消息，能把數位資產變現，揭開價值重估的序幕。
