修复指南

自 2026 年 9 月 15 日起，Cloudflare 将 AI 爬虫控制拆分为 Search、Training 和 Agent 三项。本文说明如何在拒绝 AI 训练的同时，继续出现在 ChatGPT、Perplexity 和 Claude 的搜索结果中。

AWS WAF Bot Control 的 CategoryAI 规则连已验证的 AI 爬虫也会拦截。本文说明如何继续拦截 AI 训练，同时放行 AI 搜索爬虫。

WordPress 的一项设置、SEO 插件、安全插件或主机商，都可能拦截 AI 爬虫。本文说明如何找出是哪一层，并在不允许 AI 训练的前提下修复。

如何通过 robots.txt.liquid 调整哪些 AI 爬虫可以访问 Shopify 店铺，让商品页继续出现在 AI 搜索中，以及拦截并非来自你的设置时该怎么办。

EdgeOne 的“AI 爬虫处置”按 User-Agent 识别 20 多个 AI 爬虫，名单里包括 AI 搜索用的 PerplexityBot。本文说明怎样拦训练、留搜索。

阿里云 ESA 有专门的“AI 爬虫管理”，可以按爬虫逐个拦截或观察，被拦请求默认返回 403。本文说明怎样只拦训练爬虫，并排查 Bots 与 WAF 规则。

宝塔 Nginx 防火墙认得主要搜索引擎蜘蛛，但不认识 OAI-SearchBot 等 AI 爬虫，“非浏览器拦截”“禁止海外访问”都会拦它们。本文说明怎样放行。

百度智能云没有单独的 AI 爬虫开关，拦截通常来自 CDN 的 User-Agent 黑白名单、区域封禁，或 WAF Bot 管理的 JS 验证与 IDC 规则。本文逐项说明怎样放行 AI 搜索爬虫。