Cloudflare 拦截了 AI 爬虫：修复方法（2026 年新版控制项）
更新于 2026-11-03
2026 年 9 月 15 日，Cloudflare 用三个控制项取代了原来单一的“Block AI bots”开关。过去无害的设置，现在可能会拦截搜索爬虫，包括 Googlebot、Bingbot 和 Applebot。
1. 检查三个 AI 爬虫控制项
Cloudflare 现在按行为对爬虫分类，每个控制项单独设置：
| 控制项 | 涵盖范围 | 建议设置 |
|---|---|---|
| Search | 为日后回答问题而索引内容的爬虫，例如 OAI-SearchBot、PerplexityBot 和 Claude-SearchBot。 | Allow |
| Training | 为训练模型而收集内容的爬虫，包括同时用于搜索和训练的混合用途爬虫。 | Disallow AI Training |
| Agent | 由用户触发的抓取，例如 ChatGPT-User、Claude-User 以及浏览器操作类智能体。 | Allow，或 Block on pages with ads |
可选项为 Allow、Block on pages with ads（在含广告的页面上拦截）和 Block；Training 另外提供 Disallow AI Training（禁止 AI 训练）。
2. 了解“Block”现在的含义
自 2026 年 9 月 15 日起，Block 和 Block on pages with ads 也会作用于混合用途爬虫。Cloudflare 的官方公告写明，为 Training 选择 Block “will stop Applebot, Bingbot, and Googlebot from reaching your site, search included.”（会让 Applebot、Bingbot 和 Googlebot 无法访问你的网站，搜索也包括在内。）
Disallow AI Training 是不影响搜索的选项：Cloudflare 会在你的 robots.txt 中声明不允许训练，继续允许其认定为“Accountable”的爬虫（Apple、Google、Microsoft）用于搜索，并拦截仅用于训练的爬虫，例如 GPTBot、ClaudeBot、Meta-ExternalAgent 和 Amazonbot。
3. 检查 Cloudflare 自动迁移后的设置
现有网站已被自动迁移。如果你之前开启了旧的 Block AI bots 开关，现在的设置是：Search 为 Allow，Training 为 Disallow AI Training，Agent 为 Block on pages with ads。含广告网站新接入的域名也会得到同样的预设。其中 Agent 这一项可能会在展示广告的页面上拦截 ChatGPT-User 和 Claude-User。
4. 排查自定义规则和 Bot Fight Mode
- Security rules / WAF custom rules（安全规则 / WAF 自定义规则）：查找使用
cf.verified_bot_category、http.user_agent或GPTBot等爬虫名称的表达式。在新控制项推出之前写的旧规则，可能仍在拦截 AI 搜索爬虫。 - Bot Fight Mode / Super Bot Fight Mode：这两项可能会对自动化流量发起质询。如果 AI 爬虫收到的是质询页面，请检查这些设置并放行已验证的爬虫。
- AI Crawl Control（原 AI Audit）：显示哪些 AI 爬虫访问了你的网站，并可单独允许或拦截某个爬虫。请确认你想保留的搜索爬虫在这里没有被设为 Block。
5. 重新检测
Cloudflare 的设置几秒内即可生效。再次运行检测，确认 AI 搜索相关各行显示 Reachable（可访问）。
参考来源
- Cloudflare blog: Have it both ways (Sep 15, 2026)（Cloudflare 博客，2026 年 9 月 15 日） ↗
- Cloudflare docs: Block AI Bots（Cloudflare 文档） ↗
- Cloudflare docs: AI Crawl Control（Cloudflare 文档） ↗
修完再测一次
免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。
其他指南：CloudFront / AWS WAF · WordPress · Shopify · 腾讯云 EdgeOne · 阿里云 ESA / CDN · 宝塔面板 · 百度智能云 CDN / WAF