腾讯云 EdgeOne 拦截了 AI 爬虫：修复方法

更新于 2026-11-03

如果报告显示 EdgeOne 对 AI 爬虫返回拦截或挑战，先看“AI 爬虫处置”。它按请求的 User-Agent 识别一份 AI 爬虫名单，设置一个处置方式，对名单里所有爬虫生效。

要注意的一点。腾讯云公布的识别名单里有 PerplexityBot，它是 Perplexity 的搜索爬虫。把 AI 爬虫处置设成“拦截”，Perplexity 搜索也就看不到你的网站。名单里没有 OAI-SearchBot、Claude-SearchBot，如果它们也被拦，原因在别的规则。

1. 找到 AI 爬虫处置

登录 EdgeOne 控制台，服务总览 → 选择站点。
安全防护 → Web 防护，切到 域名级防护策略，点目标域名。
在 Bot 管理 卡片里进入 基础 Bot 管理 → AI 爬虫处置，点编辑。

处置方式有观察、拦截、放行、JavaScript 挑战、托管挑战。大多数 AI 爬虫不执行 JavaScript，JavaScript 挑战和托管挑战对它们等同于拦截。

2. 拦训练、留搜索

腾讯云文档列出的名单包括 GPTBot、ClaudeBot、Google-Extended、Meta-ExternalAgent、PerplexityBot、pangu（华为）等。名单里大部分是训练爬虫，PerplexityBot 是例外。两种做法：

想拦训练：AI 爬虫处置设为“拦截”，再加一条 防护例外规则，对 User-Agent 包含 PerplexityBot 的请求跳过 AI 爬虫处置。腾讯云文档写明误拦时用防护例外规则恢复。
只想看看：设为“观察”，不影响访问，先看 AI 爬虫的流量。

只按 UA 放行有被伪造的风险。PerplexityBot 公布了 IP 段，需要更严时可以在例外规则里加上 IP 条件。

3. 排查其他会拦爬虫的地方

Bot 基础特征管理：检查有没有把“来自 IDC（数据中心）的请求”设为拦截或 JavaScript 挑战。AI 爬虫都从数据中心发出请求，这一项会把它们一起拦掉。搜索引擎特征规则应设为放行。
Bot 智能分析：确认“正常 Bot 请求”不是拦截。
自定义规则：查 UA 黑名单、区域封禁。只允许中国大陆访问会拦掉海外的 AI 爬虫（OAI-SearchBot、PerplexityBot 等从海外机房发出）。

按腾讯云文档，AI 爬虫处置本身不影响百度、Google 等搜索引擎爬虫，免费套餐也带这个功能。

4. 重新检测

保存后再跑一次检测，确认 AI 搜索各行显示“能进”。

参考来源

修完再测一次

免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。

其他指南：Cloudflare · CloudFront / AWS WAF · WordPress · Shopify · 阿里云 ESA / CDN · 宝塔面板 · 百度智能云 CDN / WAF