• 【超完整懶人包】認識比特幣!原理與應用全面解析|動區新手村
  • BlockTempo Beginner – 動區新手村
  • Home 3
  • 不只加密貨幣,談談那些你不知道的區塊鏈應用|動區新手村
  • 動區動趨 BlockTempo – 最有影響力的區塊鏈新聞媒體 (比特幣, 加密貨幣)
  • 所有文章
  • 最完整的「區塊鏈入門懶人包」|動區新手村
  • 服務條款 (Terms of Use)
  • 關於 BlockTempo
  • 隱私政策政策頁面 / Privacy Policy
動區動趨-最具影響力的區塊鏈新聞媒體
  • 所有文章
  • 搶先看
  • 🔥動區專題
  • 🔥Tempo 30 Award
  • 加密貨幣市場
    • 市場分析
    • 交易所
    • 投資分析
    • 創投
    • RootData
    • 比特幣 BTC 即時價格
    • 以太幣 ETH 即時價格
    • Solana SOL 即時價格
    • 瑞波幣 XRP 即時價格
    • Pi Network PI 即時價格
  • 區塊鏈商業應用
    • 金融市場
    • 銀行
    • 錢包
    • 支付
    • defi
    • 區塊鏈平台
    • 挖礦
    • 供應鏈
    • 遊戲
    • dApps
  • 技術
    • 比特幣
    • 以太坊
    • 分散式帳本技術
    • 其他幣別
    • 數據報告
      • 私人機構報告
      • 評級報告
  • 法規
    • 央行
    • 管制
    • 犯罪
    • 稅務
  • 區塊鏈新手教學
  • 人物專訪
    • 獨立觀點
  • 懶人包
    • 比特幣概念入門
    • 從零開始認識區塊鏈
    • 區塊鏈應用
No Result
View All Result
  • 所有文章
  • 搶先看
  • 🔥動區專題
  • 🔥Tempo 30 Award
  • 加密貨幣市場
    • 市場分析
    • 交易所
    • 投資分析
    • 創投
    • RootData
    • 比特幣 BTC 即時價格
    • 以太幣 ETH 即時價格
    • Solana SOL 即時價格
    • 瑞波幣 XRP 即時價格
    • Pi Network PI 即時價格
  • 區塊鏈商業應用
    • 金融市場
    • 銀行
    • 錢包
    • 支付
    • defi
    • 區塊鏈平台
    • 挖礦
    • 供應鏈
    • 遊戲
    • dApps
  • 技術
    • 比特幣
    • 以太坊
    • 分散式帳本技術
    • 其他幣別
    • 數據報告
      • 私人機構報告
      • 評級報告
  • 法規
    • 央行
    • 管制
    • 犯罪
    • 稅務
  • 區塊鏈新手教學
  • 人物專訪
    • 獨立觀點
  • 懶人包
    • 比特幣概念入門
    • 從零開始認識區塊鏈
    • 區塊鏈應用
No Result
View All Result
動區動趨-最具影響力的區塊鏈新聞媒體
No Result
View All Result
Home 區塊鏈商業應用 AI

Cloudflare 爆雷:AI 流量飆破人類,廣告經濟慘崩

深潮 Techflow by 深潮 Techflow
2026-09-10
in AI
A A
36
SHARES
分享至Facebook分享至Twitter

Cloudflare 資料顯示,AI 機器人已佔全網 HTML 請求 60%,人類僅剩 38.2%。支撐開放網路二十年的「內容換流量」模式正在崩塌,按次付費的新基礎設施尚未就緒,內容創作者與廣告商的生存規則被迫重寫。
(前情提要:Claude、OpenAI、Grok 三家 AI 同時當機之謎:共用資料中心?)
(背景補充:Cloudflare 推出「AI 代理專用錢包」!支援穩定幣微支付、自訂預算防超支)

本文目錄

Toggle
  • 機器人流量 60%,廣告契約解體
  • Google 廣告營收 4400 倍,內容淪為飼料
  • AI 爬蟲雙重掠奪:訓練與即時檢索
  • 按次付費的兩條路:封閉 vs 開放
  • 獨立出版者:更健康,還是更封閉?

 

Shoal Research 最新研究揭露,AI 機器人流量已正式超越人類:Cloudflare 網路上 60% 的 HTML 請求來自自動化程式,人類僅剩 38.2%。這不只是流量結構的改變,而是開放網路賴以生存的「內容換廣告」契約正在解體——當機器不再需要被導流回網站,內容付費的時代被迫提前到來。

2026 年 3 月 19 日,Cloudflare 執行長 Matthew Prince 預測,在生成式 AI 的推動下,機器人流量將在 2027 年超過人類流量。Cloudflare 是全球最大的內容分發網路,覆蓋約 20% 的網際網路。僅僅幾個月後,Prince 宣布,代理式流量增長如此之快,機器人已經超過人類流量。Cloudflare 網路上的 HTML 內容 HTTP 請求中,機器人約佔 60%,人類僅佔 38.2%。隨著自動化系統生成的 HTML 頁面請求份額超過人類,且 AI 代理在其中所佔比例不斷上升,網際網路賴以生存的商業模式正在瓦解。

全球資訊網實現了前所未有的全球資訊民主化,而支撐這一使命的,是一套簡單直接的「內容換流量」交換機制:出版商在網路上發布內容,搜尋引擎在使用者搜尋時將讀者導向他們的網站。出版商以內容的形式向網路提供資訊或娛樂;搜尋引擎幫助把讀者引導到相關網頁;廣告商透過在使用者被引導到的網頁上展示定向廣告,把這次訪問變現。這個同步運轉的閉環,共同建立了價值數十億美元的廣告機器,支撐了開放、無付費牆的網際網路。

這筆交易支撐了海量免費可訪問的資訊,同時也把分發權力集中在搜尋和廣告平台手中。它獎勵行為廣告、SEO 最佳化的內容堆量和追逐流量的內容生產,讓出版商深度依賴推薦流量和注意力流量。AI 正在侵蝕這筆本就脆弱的交易中的「推薦」環節,而替代方案還沒準備好。

谷歌的廣告收入從 2001 年的 6690 萬美元(這是它首次完整披露廣告收入的年份)增長到 2025 年的 2947 億美元,增長了約 4400 倍。

然而,近年來 AI 聊天機器人應用的爆發式增長,為網路資訊發現引入了一種全新範式。從設計上,這些 AI 應用就優先考慮使用者便利性,把受眾留在聊天介面內部。這對使用者來說很方便,但對出版商來說尤其致命。搜尋引擎會把讀者引導到內容來源的網站,而 AI 應用則把資訊壓縮、總結,作為對使用者提問的最終回答的一部分直接呈現。出版商越來越難透過網站流量變現,因為他們失去了與使用者的直接關係,人類訪問量也在減少。

一個正在興起的解決方案,是在網際網路上為內容和搜尋引入全新的「按次付費」支付基礎設施。在本文中,我們將探討 AI 如何「搞垮網際網路」、這個方案的兩種不同路徑,以及這個新興的按次付費網路現在處於什麼狀態。

搜尋引擎使用爬蟲(一種為網頁建立索引的自動化程式)來構建網路的「地圖」。在傳統的內容換流量模式下,出版商允許這些爬蟲免費複製他們的文本,因為搜尋引擎會以把人類讀者導流回他們的網站作為回報。為了管理這種訪問,產業依賴一個叫 robots.txt 的文本檔案,這是一套未加密的、自願遵守的榮譽系統。robots.txt 之所以能長期平穩執行,是因為無視 robots.txt 意味著失去對出版商內容的訪問權,這會直接損害搜尋引擎對網路的索引質量。

生成式 AI 應用把爬蟲從索引工具變成了主動消費者,從而摧毀了網路的內容換流量交易,這在訓練和即時檢索兩個環節表現得最為明顯。在訓練階段,像 GPT 或 Claude 這樣的大語言模型從開放網路上抓取的海量語料中學習,包括各種書籍、文章、程式碼和藝術作品。模型在這全部人類知識上完成訓練,然後將其回饋給使用者,不帶任何來源連結,也不向創作者支付任何費用。在即時檢索階段,模型為了回答使用者問題而在那一刻索引即時網路,抓取相關段落並重新格式化。模型不會把原始頁面交給讀者,而是把資訊重述成一段全新的、內聯的回覆,完整地回答使用者的問題。爬蟲只需要為一個頁面建立一次索引,模型就能把它發現的內容提供給數百萬讀者,而這些讀者中沒有一個會被帶回原始來源。

當我們把提取機制與行為資料、聯邦法律訴訟和藝術剝削放在一起看時,開放網路的基礎正在經歷結構性崩塌已經變得顯而易見,而其影響已經在多個相互關聯的領域顯現出來。

機器人流量 60%,廣告契約解體

AI 爬蟲對行為的影響可以透過「抓取 -導流比」來衡量:即爬蟲抓取的頁面數量與它帶回的實際使用者數量之比。Cloudflare 的資料顯示,僅在過去六個月裡,訓練類(43.9%)以及訓練加搜尋類(41.5%)爬蟲,就佔了 Cloudflare 網路觀測到的已識別 AI 爬蟲請求的 85%以上。Googlebot 每帶回一個訪客,仍然要抓取近五個頁面,過去一年為 5.3 個,這更接近歷史上的交換水平,而每個主流 AI 平台都比它高出一到三個數量級。在過去一年裡,Anthropic 的 ClaudeBot 每給源網站帶回一個訪客,平均要抓取 4200 個頁面,Mistral 為 884 個,OpenAI 為 731 個,Perplexity 為 147 個。Cloudflare 確實指出,來自原生應用的導流不帶導流頭資訊,因此這些比率可能誇大了失衡程度。皮尤研究中心的一項研究發現,當 AI 摘要攔截搜尋查詢時,人類點選率會從 15%下降到 8%,來自摘要的直接點選歸因下降到 1%,使用者在 26%的情況下會完全放棄瀏覽會話。

AI 爬蟲也引發了法律訴訟。在 Bartz 訴 Anthropic 案中,法官 William Alsup 裁定,用合法獲取的書籍進行訓練屬於合理使用,因為這種使用具有轉換性,也就是說它創造了新東西,而不是替代書籍本身,而針對 Anthropic 所下載盜版書庫的指控則進入審理階段。Anthropic 後來以 15 億美元私下和解了這項指控,按約 50 萬部作品計算,每部作品約 3000 美元。這一結果被廣泛解讀為 Anthropic 的勝利,因為訓練屬於合理使用的裁定得以保留,而和解也排除了本可能高得多的法定賠償。隨著案件和解,沒有任何法院確定過用盜版內容訓練的實際成本是多少。與此同時,《紐約時報》訴 OpenAI 和微軟案仍在進行中,迫使 OpenAI 交出 2000 萬條 ChatGPT 對話日誌,作為調查模型在多大程度上覆制文章以替代付費訂閱的一部分。

這些案件凸顯出,AI 爬蟲無計量抓取的成本,尤其落在了獨立創作者和視覺藝術家身上。當 OpenAI 在 2025 年初發布其吉卜力風格渲染能力時,恰恰暴露了現有版權保護有多薄弱。因為美國法律保護的是作品的具體表達,而不是整體風格,AI 模型可以系統性地克隆一種靠數十年人類勞動建立起來的藝術美學,卻無需提及或補償創作者。OpenAI 的政策禁止使用在世藝術家如宮崎駿的名字作為提示詞,卻完全允許使用「吉卜力」作為提示詞。像龍貓這樣的具體角色受到保護,但一般的吉卜力風格卻不受保護,這使得藝術家幾乎沒有法律依據,儘管模型之所以能生成那種畫面,僅僅是因為它用了該工作室的電影進行訓練。按請求付費的基礎設施無法解決上述所有損害。它可以對作品的未來訪問進行計量和補償,但無法追溯補償藝術家已經用於訓練的材料,也無法阻止模型復現它已經學會的風格。那些損害需要單獨的授權、版權和執法補救措施。

簡而言之,針對內容換流量交易崩潰的兩種主要回應(訴訟和私人授權)都只是臨時救急,而不是可擴充套件的商業模式。到目前為止,訴訟為過去的抓取定了價,卻對持續和未來的爬取未加觸碰,而私人雙邊授權協議則讓大型媒體集團直接把檔案訪問權賣給 AI 實驗室(例如 OpenAI 與 NewsCorp 的 2.5 億美元合同,或谷歌據報每年 6000 萬美元與 Reddit 的交易)。雖然價格不菲,但一項市場調查發現,這些私人交易大多不到被授權方預計 AI 收入的百分之一。然而談判這類協議需要大量財力和法律資源,這意味著網際網路的獨立長尾(數百萬獨立內容創作者)仍然沒有辦法大規模應對 AI 爬蟲。

於是事情變得清晰起來:基於 robots.txt 的未加密信用體系,以及支撐開放網際網路三十年的內容換流量交易,無法承受一個在經濟上以資料消費優先於導流流量、爬蟲成為頭等消費者的網際網路。過去,出版商樂於承擔 100%的內容生產成本,因為他們能獲得 100%的消費者流量和注意力;而生成式 AI 完全消費內容卻幾乎不提供歸因,實際上切斷了人類網路流量的來源,而出版商恰恰需要這些流量來產生廣告或訂閱收入,結果出版商還要為機器抓取支付昂貴的託管帳單,卻得不到任何流量。這種擠壓同時從兩個方向發生。服務一個機器人的頻寬和計算成本與服務一個讀者相同,但機器人離開時不會看廣告,也不會開始訂閱。在抓取 -導流比達到數百或數千的情況下,出版商每一次能夠變現的訪問背後,都要付費服務數千次請求。因為出版商無法承受只為了讓機器人免費複製文本而支付伺服器費用,網際網路需要一種新方式來確保創作者能因他們的產出獲得報酬。既然人們閱讀的是 AI 摘要而不是訪問網站,出版商就無法再僅靠人類注意力賺錢。因此,變現的時間點變成了 AI 機器人實際抓取資料的那一刻,而接下來合乎邏輯的一步,就是引入新的網路原生按請求付費支付基礎設施。

要把按請求付費模式擴充套件到整個網際網路,就需要一種高效計量內容和伺服器訪問的方式。雖然這類活動中有越來越大的一部分由 AI 爬蟲驅動,但這個框架適用於任何非人類互動,包括資料來源和自動化 API。簡單來說,要訪問付費內容,一個軟體必須透過程式設計方式向另一個軟體付款,這個過程被正式稱為機器支付。

為了大規模支援機器支付,基礎設施公司在網路路由層構建自動化計費關卡,在請求發生的毫秒級時刻向機器人收費。不過,執行方式大多分為兩種截然不同的方法:一種是封閉市場模式,要求爬蟲註冊帳戶並獲取唯一數字金鑰,透過中間路由代理訪問網站;另一種是開放協議模式,其設計圍繞使用標準化的公共軟體規則、機器可讀頭資訊,並支援在更廣泛的數字軌道上進行支付結算。

門控市場模式將網頁內容視為由企業中介管理的私有資產。在這一框架下,機器支付之前必須先完成身份驗證和訪問許可。發布者會配置其網路,將傳入的 AI 爬蟲從面向人類使用者的公開網站重定向到由市場提供商管理的專用二級網址。在這個閘道器處,平台會對照資料庫檢查爬蟲的身份憑證,評估發布者設定的自定義訪問規則,記錄使用情況,並將頁面格式化為機器可讀文本。金融交易發生在網際網路協議層之外。當機器人發起請求時,市場會記錄該次使用,並將其從 AI 公司預先充值的信用餘額中扣減。結算則透過 Stripe Connect 等商戶平台以法幣定期進行,因為每次請求都刷卡的話,手續費會比請求本身的價值還高。在 AI 爬蟲與發布者源站伺服器之間直接設定中介,有助於最大化安全性、保護伺服器免受激進流量衝擊,並確保只有經過驗證的企業合作伙伴才能進入。然而,這種框架若大規模實施,可能會把開放網路變成由許可制店面組成的網路,進一步惡化人類使用者的體驗。

早期面向網路的程式化按次付費支付基礎設施一直是門控市場,其中最知名的是 TollBit 以及 Cloudflare 按次爬取的第一版。TollBit 是一個用於管理、監控 AI 代理網路流量並將其變現的平台。要部署它,發布者需要設定一個專門的子域名(例如 https://tollbit.thedailydispatching.com/),当检测到 AI 爬蟲試圖訪問主站時,伺服器會自動將爬蟲重定向到 TollBit 的子域名,爬蟲只有在付費後才能獲得訪問許可權。TollBit 會檢查該 AI 公司是否擁有已註冊的計費帳戶,記錄機器人請求的頁面數量,以乾淨的文本格式交付資料,同時以美元處理支付。這需要 API 金鑰,因此如今發現內容成本並不是自助式的:AI 開發者必須先向 TollBit 註冊。

2025 年 7 月 1 日,Cloudflare 推出了其首個按次爬取模型。Cloudflare 執行在域名系統(DNS)和內容分發網路層面,這意味著它在流量實際到達內容發布者的物理源站伺服器之前就已處理這些流量。在按次爬取第一版中,Cloudflare 集成了其邊緣級 Web 應用程式防火牆(WAF),預設情況下自動檢測並攔截其網路上已知的 AI 爬蟲。當 AI 爬蟲請求訪問受按次爬取保護的域名時,Cloudflare 會在請求到達發布者網頁之前進行攔截,並在網站所有者選擇將其內容變現的情況下促成支付。

Google 廣告營收 4400 倍,內容淪為飼料

TollBit 依賴開發者 API 設定、專有金鑰以及傳統銀行管道進行支付。透過 Stripe 等商戶網路路由按次請求交易,會引入固定的交易處理費用(通常約為三十美分加上總費用的一定百分比),這使得單次、不足一美分的即時請求在經濟上不可行。為了繞過這一成本障礙,人類開發者需要手動向門控市場中介註冊帳戶,生成唯一的 API 金鑰,並用信用卡或銀行轉賬預充餘額,平台隨後從中逐步扣費。因此,代理和其他自主軟體目前還無法獨立地按需發現併購買資料;相反,人類管理員需要手動建立商業帳戶,監控各個獨立提供商之間不斷波動的餘額,並協調安全金鑰。

儘管保持人工介入是許多以 AI 為中心的流程中必不可少的環節,但使用門控市場模式來大規模管理網頁內容的訪問,預設假設了可預測的、線性的網路流量模式,這直接與現代軟體的執行現實相沖突。AI 代理和爬蟲使用推理迴圈來動態選擇自己的導航路徑,這取決於使用者給出的提示,意味著它們經常會遇到包含任務所需精確資料的不熟悉域名。在任務中途停下來要求人工手動接入,會迅速造成執行瓶頸,從而破壞使用者體驗。固定費率訂閱在這裡也不是最高效的解決方案;AI 代理在接收到指令時隨時執行,而這往往表現為不可預測的集中爆發(例如,某人可能連續 3 天從事研究密集型專案,然後休息 2 周)。

在前置資金押金與訪問受保護內容和資料所需的定製軟體整合之間,門控市場本質上是一個高度許可的系統。一方面,網路發布者能夠接收到來自成熟科技公司的受控、經過驗證的流量;另一方面,在多個獨立平台上管理預充帳戶所帶來的行政與財務負擔,限制了非匿名訪問,阻礙了獨立開發者的自發抓取,也減少了那些缺乏大規模企業流量的中小發布者的變現機會。相比之下,直接的機器對機器金融握手允許發布者向爬蟲將要請求的文本和資料附加一筆微費用;這一設計理念構成了開放協議模式的基礎。

開放協議是建立在公開、標準化通訊規則之上的網路架構。現代網路的大部分都建立在 HTTP、SMTP 和 TCP/IP 等開放協議之上,至今仍在使用。近年來,HTTP 402 狀態碼(雖然被保留了三十多年但一直處於未啟用狀態)已成為核心的 web 原生基礎設施元件,用於在使用區塊鏈軌道的開放協議上支援機器支付。

使用 HTTP 402 進行比特幣支付的實驗最早可以追溯到 2015 年,先驅專案包括 21co Bitcoin Computer 和閃電網路的 L402。2025 年 5 月,x402 協議首次將穩定幣引入 HTTP 402 流程中,而 Stripe 與 Tempo 合作的機器支付協議(MPP)等努力則在穩定幣之外也支援比特幣和信用卡支付。信用卡選項是為宏觀交易而非微支付設計的,因為固定的刷卡費用會吞沒不足一美分的請求。穩定幣仍然是使按請求定價得以可行的軌道。

x402 將支付指令直接嵌入資料交換程式碼中,無需第三方帳戶註冊或專有清算所。當 AI 爬蟲請求一個網頁時,宿主伺服器會直接在連線後設資料中嵌入機器可讀的響應(負載頭)。該頭資訊提供每次請求的確切價格、指定的支付網路以及接收方的數字帳單地址。

區塊鏈在促進機器支付方面正發揮日益突出的作用,因為它們提供了一個不可篡改、可程式設計的金融層,其原生速度和自動化水平與軟體邏輯一致。穩定幣等加密資產在結構上與網路中的 AI 代理緊密相鄰,因為它們執行在與 AI 代理和爬蟲相同的網路原生基礎設施上,以軟體程式碼的形式存在,可透過簡單的 API 端點和加密簽名進行整合。使用區塊鏈軌道進行支付的成本和費用仍然顯著更低,在領先的高吞吐量鏈上每筆轉賬通常只需幾分之一美分,遠低於信用卡和金融科技公司(儘管有越來越多的金融科技公司正在積極縮小這一差距,例如 Wise)。

區塊鏈軌道還從設計上為每筆支付提供了加密收據和驗證。每個按請求付費的迴圈都會提供一份永久儲存的收據,其中包含買家的數字簽名、所請求的 URL 以及精確的時間戳。由於這些指令儲存在公開鏈上,任何自動化代理都可以解析傳入的後設資料,使用相容資產(如穩定幣)執行微支付,並在一次連續的 HTTP 握手中下載內容。傳統銀行軌道的結算需要透過清算所在商業銀行賬簿之間核對借貸,通常需要數天時間,而區塊鏈結算則在網路節點驗證數字簽名並更新全域性鏈狀態後立即完成,如前所述,在領先鏈上通常只需幾秒。最重要的是,開放協議方法將網路資料訪問標準化,使任何規模的發布者都能將其資產變現,也使任何擁有資金充足的自動化帳戶的開發者都能在無需事先獲得行政許可的情況下進行爬取。

2026 年 6 月 15 日,亞馬遜網路服務(AWS)將 x402 協議直接整合到 CloudFront 及其 Web 應用防火牆中。這一配置使大約四分之一的網際網路能夠直接從其現有的雲控制台啟用自動化代理計費,向付費機器人提供內容。Cloudflare 也緊隨其後:其 Pay-Per-Crawl V1 要求 Cloudflare 作為記錄商戶透過 Stripe 處理支付,而新的 Cloudflare Monetization Gateway 則徹底將 Cloudflare 從支付環節中移除,支付以點對點方式直接路由到賣家的錢包。

封閉市場和開放協議之間的主要區別在於誰被允許購買網路內容的訪問權。在封閉市場模式下,訪問僅限於經過策展的白名單;AI 機器人只有在母公司手動簽署企業合同並透過中介平台的背景調查後才能購買內容。在開放協議模式下,訪問完全自動化且不受限制;網際網路上任何軟體程式都可以即時購買和下載資料,只要其自動計費帳戶能夠當場結算所請求的微費用。隨著這兩種系統在網際網路路由網路中推廣,發布者面臨兩種不同基礎設施選項之間的選擇。封閉市場模式服務於那些優先考慮嚴格安全合規、法律賠償和策展企業合作關係的企業組織。相反,開放協議模式服務於需要無摩擦微交易的自動化工作流,使多元化的獨立開發者和發布者生態系統能夠在沒有行政障礙的情況下以程式化方式交換資料。

AI 爬蟲雙重掠奪:訓練與即時檢索

為了衡量按請求付費網路的實際覆蓋範圍,Shoal Research 於 2026 年 8 月 19 日以 AI 爬蟲(GPTBot)的身份探測了 108 家主要發布者和消費者網站。樣本此後已從 108 個擴充套件到 500 個域名。以下結果描述的是最初 8 月的執行情況。對於每個請求,我們記錄了狀態碼、重定向鏈、響應頭和質詢體,並計算 SHA-256 雜湊以確保採集執行期間的資料完整性。當且僅當端點的 HTTP 402 響應在 Payment-Required / X-Payment-Required 頭或有效的 x402 JSON 質詢負載中返回了可解析的支付引數時,該端點才被歸類為 x402 可支付或代理可支付。

在 108 家發布者中,網路分為三種主要姿態:

免費提供(49.1%,n=53):53 個域名以 HTTP 200 OK 開放提供其主頁,允許不受限制地提取。

邊界封鎖(33.3%,n=36 合計):31 個域名返回 HTTP 403 Forbidden,兩個要求身份驗證(HTTP 401),兩個拒絕內容協商(HTTP 406),一個返回法律封鎖(HTTP 451)。另有 3 家發布者在多次嘗試後超時。

返回 HTTP 402(14.8%,n=16):恰好 16 家發布者返回了 HTTP 402 Payment Required 狀態碼。

至關重要的是,資料集中沒有一家發布者返回開放的、機器可支付的質詢。

在 16 個 HTTP 402 響應中,10 個重定向到 TollBit Bot Paywall,6 個返回靜態 HTML 許可聯絡表單。使用經過身份驗證的開發者金鑰對基線資料集中所有 13 家由 TollBit 管理的發布者進行的二次檢查,在每一次費率查詢中均返回 HTTP 403。API 負載明確表示內容提供商已停用程式化訪問,且未返回每次抓取的價格費率。

解讀這些結果的一種方式是,TollBit 正在充當傳統發布者的早期 AI 合作伙伴,幫助他們測試和理解內容的按使用量計費,同時仍為發布者提供受管控的代理訪問所帶來的控制力和安全性。一個需要手動開發者註冊、專有 API 金鑰和企業白名單的系統,很難擴充套件到空前數量的在動態網路路徑中導航的自主代理;相反,它是一項過渡措施,旨在保護傳統收入,同時等待永久性的機器原生結算標準成形。現在還處於早期階段,我們認為像 TollBit 這樣的提供商正在試圖理解並制定如何平衡此類服務所帶來的訪問、許可和自主性。

我們還在 8 月 19 日拉取了完整的 Coinbase CDP 登入檔,以瞭解誰在實際使用 x402,以及該網路上哪些服務正在執行。該網路號稱擁有超過 15000 個端點,其中數百個處於活躍使用狀態。

主流內容發布者尚未採用 x402,但在這一缺席之下,一個活躍的供給端市場已經形成。雖然消費媒體尚未積極整合,但開發者工具、專業資料供應商和代理網路已經迅速部署了開放的機器支付端點;x402 生態系統中可識別的名字包括 Tavily、Nansen、CoinGecko、Chainlink、Apify 和 Browserbase 等資料 API,最近還有 Ramp。x402 上的頂級服務提供商包括 ChatGPT、Claude、TripAdvisor 和 Perplexity 等名字,但尚無大型內容發布者。

按次付費的兩條路:封閉 vs 開放

15,073 個活躍端點表明,軟體正在開放的公共軌道上積極定價並銷售對其他軟體的程式化訪問許可權。一些追蹤該網路的機構報告稱,若將捆綁市場納入統計,端點數量可達 50,000 個。然而,這些端點仍嚴格集中於抓取、AI 工具呼叫和即時資料流;將整個登入檔與主流消費媒體和出版域名(《紐約時報》、路透社、ESPN、維基百科)交叉比對後,匹配率為零。我們預計這一情況會緩慢但確定地改變,因為通常需要一個知名機構來「啟動局面」。網路貨幣化的歷史轉變往往跟隨單一在位者打破「現狀」而發生:《紐約時報》於 2011 年推出計量付費牆;美聯社在 2023 年為商業 AI 資料交易開創先例,引發了從新聞集團到《時代》再到康泰納仕的連鎖反應。因此我們預計,當第一家一線出版商在開放協議(如 x402、MPP)上為其訪問定價時,市場其餘參與者將迅速跟進。

開放按請求付費協議的基礎設施已在執行,但市場本身仍處於早期階段。開放支付的技術管道正在積極部署中:出版商擁有機器可讀的權利框架如 RSL,AWS CloudFront 和 Cloudflare 中的託管與路由閘道器可以在請求的毫秒級進行計費,結算軌道從信用卡到數位資產和穩定幣一應俱全,全部可透過 x402 和 MPP 等協議普遍訪問。主動採用所剩的最大障礙完全在需求側。

首先,沒有主要 AI 實驗室透過開放機器支付軌道為消費級網路內容路由生產爬蟲流量。我們認為這有三個主要原因。第一,爬蟲缺乏整合錢包、自動化採購預算,以及最重要的:為其請求的內容實際付費的商業義務。正如我們的爬蟲探測所示,大部分網路仍然完全未設門檻,這意味著被 HTTP 402 阻止的代理可以直接丟棄該 URL,從開放的未設限競爭對手處以零成本提取幾乎或完全相同的內容。法律環境強化了這一動態:根據聯邦裁決如 William Alsup 法官在 Bartz 訴 Anthropic 案中的判決,法院認定攝入合法可訪問的作品來訓練 AI 模型屬於轉換性合理使用。雖然 Alsup 懲罰了保留非法獲取的盜版資料集的行為,但在開放網路上可訪問的內容上進行訓練不承擔任何版權責任。因為提取公開網路文本在法律上是免費的,AI 實驗室沒有商業動機自願支付開放微費用。

生產採用仍然有限,但 AI 搜尋提供商開始將補償視為產品設計的一部分。

在一次未發表的 Shoal Signal 採訪中,Parallel 的前方部署工程師 Son Do 描述了 Index,這是一項直接與出版商合作的計劃,衡量每個來源對代理最終答案的貢獻程度,並與這些來源分享收入。Do 預計出版商和其他資料提供者將轉向基於使用量的模式,代理支付軌道將支援大量小額交易。Index 表明,補償正在進入 AI 搜尋和檢索產品的設計階段,儘管它尚未成為主要 AI 實驗室的標準採購行為。

除了法律和經濟層面缺乏義務之外,現有的開放支付協議還存在一個結構性缺陷:計量的是按請求付費迴圈中錯誤的部分:計量初始 HTTP 抓取而非下游推理,即模型綜合已攝入知識來回答使用者提示的時刻。抓取原始 HTML 收取不足一美分的費用,並不能補償創作者,如果 AI 模型可以一次性吸收該報道並在數百萬次使用者回答中復現它。雖然 RSL 等框架定義了按推理付費的選項,但 Cloudflare 或 AWS 等網路級閘道器無法檢查神經網路的潛在權重,以加密方式驗證哪些訓練檔案生成了特定的輸出 token。Cloudflare 在 2026 年 7 月與 Ceramic.ai 和 You.com 的試點專案恰好凸顯了這一技術瓶頸。該計劃試圖擺脫按抓取收費的模式,測試一種「按查詢付費」模型,僅當出版商文本實際被引用於面向使用者的 AI 回答中時才向其付費。雖然這正確地瞄準了價值創造的時刻,但 Cloudflare 等網路邊緣提供商位於 AI 伺服器之外,意味著 Cloudflare 無法獨立驗證模型在生成過程中引用了哪些來源,因此係統不得不依賴 AI 公司自行統計引用並自行報告欠款金額,退回到一種榮譽制度。

開放協議面臨的另一個根本性挑戰是,你無法真正阻止 AI 爬蟲為內容支付一次微費用後,將文本寫入其內部快取或記憶,然後無限期地提供該資料。你也無法阻止 AI 爬蟲在數千次、反覆地跨不同網站和出版商這樣做。正如 Tempo 的 MPP 合著者 Brendan Ryan 在我們進行的 Shoal Signal 採訪中所論述的,賣方的收費能力在很大程度上取決於其資訊是否獨特、時效性強且難以快取。

這一侷限性對前述的靜態創意作品和報道最為嚴重。靜態文本在發布後幾乎立即失去經濟價值,即使是透過 AI 工具的檢索機制收集的。一旦 AI 模型閱讀了一篇調查報道、歷史文章或新聞稿件,該資訊就被吸收到模型的記憶中。模型可以永遠使用這些事實回答問題,而無需再次訪問原始網站。因此,簡單地將公開網路文本與 AI 介面打包的軟體工具將看到其利潤迅速消失,因為競爭對手會在同樣的免費資訊上構建相同的爬蟲。

底層規則因此很簡單:靜態資料幾乎立即失去定價能力,而動態且不可抓取的資訊保持可付費性。因為 AI 模型可以一次讀取未付費的文章或歷史報告並將該知識永久儲存在權重中,按請求付費的微費用無法支撐依賴靜態文本的業務;持續付費只適用於必須持續生產和驗證的資訊,我們認為這歸結為三大類內容:

第一是即時的、短暫的狀態,包括即時訂單簿、亞秒級金融定價、突發新聞遙測和物聯網感測器資料流。AI 模型無法從數月前的訓練權重或過時快取中回答關於世界當前狀態的查詢;它必須在該精確時刻向源伺服器發出新的、付費的 API 請求以獲取當前現實。

獨立出版者:更健康,還是更封閉?

第二是不接觸開放網路的專有離線資料。以私募市場情報為例,新聞稿中發布的歷史融資輪次和高管變動很快被低成本競爭對手抓取並商品化。真正的定價權屬於進行一手人工研究的提供商,例如透過與基金經理的保密關係直接收集非公開的股權結構表條款、私募交易估值和經核實的 LP 配置。由於這些資料從未在公開 URL 上被索引,自動化爬蟲無法繞過付費牆或免費提取這些資料。

第三是鮮明的人聲和品牌聲譽。正如媒體策略師 Ashni Christ 在 Shoal Signal 上指出的,一個被遮蔽或下線的通用新聞聚合資訊流,會立刻被一個一模一樣的自動抓取器取代,受眾毫無損失。但當一個有既定觀點的真正分析師、調查記者或創作者停止發布內容時,讀者會立刻注意到並去尋找他們。即時訪談、主觀分析和直接接觸無法被 LLM 預先計算、儲存在中間快取裡,或從靜態訓練集中複製,這使得即時資訊流、私有離線記錄和個人視角成為唯一能夠可靠定價的資產。

網際網路正在崩壞,至少看起來如此。

為了加速彼此之間的通訊和協調,人類建立並連線了全球的計算機和軟體網路。幾十年來,每一層後續技術都旨在讓這種交換更快、更高效,最終催生了為大規模自動化而建的軟體。生成式 AI 把這種自動化能力一次性直接交到了數億人手中。但隨著自動化軟體接管網路,它正在從根本上改變資訊被發現、合成和消費的方式。這一轉變最嚴重的後果是經濟層面的:透過過去三十年支撐開放網際網路的廣告曝光和人工推薦模式來變現網路流量已不再可行;正因如此,我們現在看到按請求付費的網際網路正在形成。

現有的兩種不同路徑是網路世界的老故事:中心化、閉源的中間商,提供法幣計費、一站式合規和熟悉的企業入駐流程,但也帶來平台鎖定和許可式把關;以及開放協議,提供無需許可的訪問和透過穩定幣實現的程式化微支付,不過它們在企業分發、推理歸因,以及最重要的實際發布者採用方面仍存在缺口。

我們親自測試按請求付費網際網路的狀態後發現,開放支付協議的基礎設施和供給端已經就緒。像 x402 這樣的開放協議已經在積極推動資料收集、工具呼叫、AI 推理和即時資料饋送等功能性市場,但仍未得到主流線上發布者的支援。像 TollBit 這樣的平台目前被宣傳為程式化變現市場,但資料表明發布者只是把它們當作臨時方案,用來遮蔽抓取器並將 AI 實驗室引導至私下的線下交易。

這告訴我們,判定是封閉市場還是開放協議「勝出」遠未結束。事實上,誰說它必須偏向其中一方?未來極有可能同時包含兩種路徑,服務不同客戶和不同用例。穩定幣將和預付費積分、訂閱及傳統發票一樣被積極使用。這場博弈遠不像某些人認為的或至少聲稱認為的那樣是零和賽局。至少在一段時間內不會如此。

不過,儘管網際網路正處於轉折點,人們很容易對未來的走向做出前瞻性預測,但重要的是拉遠視角,記住網路才存在了 30 年,而且這些年間它一直在持續演化。無論新興的按請求付費網際網路在支付基礎設施上收斂於封閉市場還是開放協議,一種可能性始終存在:這個活躍演化、資金充裕的 AI 領域的進一步發展可能讓兩種路徑都變得無用,轉而為一種全新的、尚未探索的路徑奠定基礎。就目前而言,我們認為更有可能看到開放協議和封閉市場同時被更廣泛採用,各自服務不同細分市場和不同用例。然而,與任何前瞻性判斷一樣,只有時間能給出答案。

舊契約的崩塌最終可能造就一個更健康的網路,與此同時,也可能提高那些從一開始就沒有資金支付按次使用費用或使用代理的人的全球資訊獲取成本。不過,直接的機器支付可能為發布者提供一條不依賴廣告或平台控制推薦的機器使用變現路徑。結果將取決於這些新軌道是繼續向獨立發布者開放,還是變成又一層守門人。

加入動區 Telegram 頻道

📍相關報導📍

Cloudflare Wallets 錢包申請教學》5 分鐘搶下 cloudflare.pay 名稱,入金、支付要等等

Cloudflare「裁員 1100 人」盤後暴跌 17%,CEO:轉向 AI 優先發展模式

Cloudflare 推出 Mesh 取代 VPN:讓 AI 代理安全存取你的內網、免費提供 50 節點

Tags: CloudflareShoal Research內容付費機器人流量


關於我們

動區動趨

為您帶來最即時最全面
區塊鏈世界脈動剖析
之動感新聞站

訂閱我們的最新消息

動區精選-為您整理一週間的國際動態

戰略夥伴

Foresight Ventures Foresight News MEXC

主題分類

  • 關於 BlockTempo

動區動趨 BlockTempo © All Rights Reserved.

No Result
View All Result
  • 所有文章
  • 搶先看
  • 市場脈動
  • 商業應用
  • 區塊鏈新手教學
  • 區塊鏈技術
  • 數據洞察
  • 政府法規
  • RootData

動區動趨 BlockTempo © All Rights Reserved.