百度智能云 CDN 或 WAF 拦截了 AI 爬虫：修复方法

更新于 2026-11-03

和 EdgeOne、阿里云 ESA 不同，我们在百度智能云的公开文档里没找到专门的 AI 爬虫开关（截至 2026 年 11 月）。AI 爬虫进不来，多半是通用的防盗链或 Bot 规则顺带拦掉的。

1. CDN：User-Agent 黑白名单

1. CDN 控制台 → 域名管理 → 目标域名 管理 → 访问控制 → 防盗链 编辑，找到 User-Agent 防盗链配置。
2. 如果是 白名单生效：名单外的请求都会被拒，需要把 OAI-SearchBot、PerplexityBot、Claude-SearchBot、ChatGPT-User 加进去。
3. 如果是 黑名单生效：百度文档写明匹配方式是“包含”且忽略大小写。填了 bot、spider、python 这类宽泛词，会把所有 AI 爬虫一起拦掉。只想拦训练，改成具体名字：GPTBot、ClaudeBot、CCBot。

同一页的 IP 黑白名单 也要看一眼：开了 IP 白名单，名单外的 IP 都进不来。

2. CDN：区域封禁

按各家公布的 IP 段，OAI-SearchBot、PerplexityBot 等 AI 搜索爬虫都从海外机房发出请求。只允许中国大陆访问，它们基本进不来。需要保留区域封禁时，至少放行这些爬虫的官方 IP 段（例如 OpenAI 的 searchbot.json），各爬虫的出处见 AI 爬虫百科。

3. WAF：Bot 管理

Bot 管理只在 SaaS WAF 企业版提供，新建模板时各模块默认关闭。逐项检查你开了哪些：

• JS 验证：会过滤不执行 JS 的客户端，等于拦掉大多数 AI 爬虫。只对需要保护的路径（登录、接口）开，不要全站开。
• 基础特征库：其中的 IDC 规则 按 IP 归属识别数据中心流量，AI 爬虫都从数据中心发出；UA 规则 也可能命中爬虫 UA。确认这两组没有设成拦截。
• AI 智能防护：把流量分为恶意 Bot、疑似 Bot、友好 Bot、正常请求四类。“友好 Bot 请求”应设为放行，“疑似 Bot”先观察。
• 客户端画像分析：“网络代理”包括“云服务器中转访问”的客户端，高置信度设为拦截时可能误伤从云上发出的爬虫。

百度的建议是首次配置时先把各项设为“观察”，看日志确认没有误拦再收紧。需要放行时，用 WAF 的 白名单 让指定 IP 或请求特征跳过检测。

4. 重新检测

改完再跑一次检测，确认 AI 搜索各行显示“能进”。

参考来源

• 百度智能云文档：CDN 设置防盗链（含 User-Agent 黑白名单匹配规则） ↗
• 百度智能云文档：WAF Bot 防护配置 ↗
• 百度智能云文档：Bot 防护最佳实践 ↗
• OpenAI：OAI-SearchBot IP 段 ↗

其他指南：Cloudflare · CloudFront / AWS WAF · WordPress · Shopify · 腾讯云 EdgeOne · 阿里云 ESA / CDN · 宝塔面板