ChatGPT 或 Perplexity 看不到你的 WordPress 网站？检查这五个地方
更新于 2026-11-03
在 WordPress 上，AI 爬虫可能在五个不同的层面被挡在门外。按下面的顺序逐项排查；检测报告会告诉你拦截发生在 robots.txt 还是实际请求中。
1. “Discourage search engines from indexing this site”（建议搜索引擎不索引本站点）
在 Settings → Reading（设置 → 阅读）中，这个复选框会要求搜索引擎不要索引本站。测试站上线时常常忘记关闭它。如果报告显示 noindex，请取消勾选。
2. SEO 插件的 robots.txt 编辑器
WordPress 提供的是虚拟 robots.txt，Yoast SEO、Rank Math 等 SEO 插件允许在后台编辑它。如果报告显示 robots.txt 禁止了某个 AI 搜索爬虫，先检查这里；也要检查网站根目录下是否有实体 robots.txt 文件，它会覆盖虚拟文件。
如果想拒绝训练但保留在 AI 搜索中，就继续拦截训练爬虫、放行搜索爬虫：
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: OAI-SearchBot User-agent: PerplexityBot User-agent: Claude-SearchBot Allow: /
3. 安全插件
Wordfence、Sucuri、All-In-One Security 等插件可以按 user agent 拦截、对爬虫限速，或拦截“伪造”的爬虫。如果实际请求被拦截而 robots.txt 是允许的，请检查这些插件的黑名单和爬虫规则中是否包含 AI user agent。
4. “Block AI”类插件
有些插件会把所有 AI 爬虫都写进 robots.txt，或直接拦截，不区分搜索和训练。如果你在用这类插件，看看它是否支持单独放行搜索爬虫。
5. 主机商或 CDN
托管型 WordPress 主机通常有自己的爬虫防护，很多网站也接入了 Cloudflare。如果报告显示请求由 CDN 响应，请参照 Cloudflare 修复指南，或询问主机商是否在边缘节点拦截 AI user agent。
参考来源
修完再测一次
免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。
其他指南：Cloudflare · CloudFront / AWS WAF · Shopify · 腾讯云 EdgeOne · 阿里云 ESA / CDN · 宝塔面板 · 百度智能云 CDN / WAF