阿里云 ESA 或 CDN 拦截了 AI 爬虫：修复方法
更新于 2026-11-03
阿里云边缘安全加速 ESA 把 AI 爬虫单独放在“AI 爬虫管理”里，按爬虫逐个开关。好处是可以只拦训练、不拦搜索；坏处是批量勾选时容易把搜索爬虫一起选上。
简要做法。在 安全防护 → AI 爬虫管理 → 爬虫客户端 里，只把训练爬虫（GPTBot、ClaudeBot、Google-Extended 等）设为“拦截”，OAI-SearchBot、PerplexityBot、Claude-SearchBot 保持关闭或“观察”。
1. 检查 AI 爬虫管理
- ESA 控制台 → 站点管理 → 选择站点。
- 左侧 安全防护 → AI 爬虫管理，打开 爬虫客户端 页签，列出可管理的爬网程序。
- 看每个爬虫的 状态 和 处置动作：拦截会拦下该爬虫的所有请求，观察只记录不拦。
被拦的爬虫默认收到 403，可在 设置 → 拦截响应 里改。AI 爬虫管理只在付费套餐（基础版及以上）可用。
2. 检查 Bots
安全防护 → Bots 的简易模式把流量分为“绝对是 Bot”“可能是 Bot”“已通过验证的 Bot”。阿里云建议对“已通过验证的 Bot”（主要是搜索引擎爬虫）放行。AI 搜索爬虫不一定被算作已验证，如果它们落在“绝对是 Bot”或“可能是 Bot”并被设为拦截或滑块挑战，也会进不来。
阿里云文档给出的优先级是：简易 Bots 配置 > AI 爬虫配置 > 高级 Bots 配置。也就是说，简易模式里的拦截会先于 AI 爬虫管理生效。
3. 检查 WAF 与自定义规则
- 在 WAF 规则里查 User-Agent 黑名单、区域封禁。只允许中国大陆访问会拦掉从海外机房发出的 AI 爬虫。
- 误拦时可以建白名单规则，让特定 UA 或 IP 跳过 Bots 检查。只按 UA 放行容易被伪造，能用官方 IP 段更好。
- 用的是老版阿里云 CDN / DCDN 加 WAF 的，我们没有逐项核对老版控制台，思路相同：查 WAF 的 Bot 管理和自定义规则。
4. 重新检测
改完再跑一次检测，确认 AI 搜索各行显示“能进”。
参考来源
修完再测一次
免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。
其他指南：Cloudflare · CloudFront / AWS WAF · WordPress · Shopify · 腾讯云 EdgeOne · 宝塔面板 · 百度智能云 CDN / WAF