Cloudflare推出AI爬虫新规：Search/Agent/Training三档分类+Monetization Gateway支持stablecoin收费，重塑AI数据生态

7月初Cloudflare宣布对AI爬虫进行重大规则更新。新规将AI流量分为三类精细化管理：Search（搜索爬虫）、Agent（智能体爬虫）、Training（训练数据爬虫），让网站主从"一锅烩"式的"全部允许/全部禁止"转向按场景精细化控制。

新规核心条款：自9月15日起，所有新加入Cloudflare的域名在广告支持页面上默认禁止Training和Agent爬虫，仅允许Search爬虫（保留Google/Bing等搜索的正常索引）；同时Cloudflare开放Monetization Gateway（货币化网关）候补名单——网站主可以通过该网关对"网页、数据集、API、MCP工具"等任何被Cloudflare代理的内容收取访问费，费用通过x402开放协议以stablecoin（稳定币）结算。

这一更新的战略意义深远：

1. 其一，AI数据生态从"免费抓取"时代进入"按场景付费"时代——Training爬虫的默认禁止意味着OpenAI/Anthropic/Google等公司不能再"默认"抓取全网数据训练模型，必须与网站主谈判或通过Monetization Gateway付费；
2. 其二，Agent爬虫的单独分类意味着智能体（如AutoGPT、Devin等）访问网站需要专门授权，这是"AI Agent合规访问互联网"基础设施的关键一步；
3. 其三，stablecoin收费机制为"AI内容交易"提供了原生支付通道，x402协议让"网页/数据/API/MCP工具"都可以"按调用次数计费"，未来可能成为"AI时代的HTTP+Stripe"基础设施。

对国产AI而言Cloudflare新规影响相对有限（中国网站很少托管在Cloudflare），但出海企业（如字节跳动、阿里、DeepSeek等）的海外业务将面临"训练数据采购成本上升"的新挑战，长期可能推动中国AI厂商建立"自有数据生态+合规训练数据联盟"的闭环。