Claude-SearchBot

为提升 Claude 搜索结果质量而索引网页。

屏蔽后会怎样

内容不会被 Claude 搜索索引，可能降低你在 Claude 搜索结果中的可见度。

robots.txt 写法

屏蔽：

User-agent: Claude-SearchBot
Disallow: /

显式放行（当有更宽的规则拦了其他机器人时有用）：

User-agent: Claude-SearchBot
Allow: /

官方原文

Disabling Claude-SearchBot on your site prevents our system from indexing your content for search optimization, which may reduce your site's visibility and accuracy in user search results.Anthropic 文档，核对于 2026-10-31

robots.txt 允许了，它就真能进来吗？

即使 robots.txt 欢迎 Claude-SearchBot，防火墙或 CDN 规则也可能拒绝它，而后台不会有任何提示。我们的检测会以 Claude-SearchBot 的身份实际请求，同时用浏览器和 Googlebot 做对照，避免把爬虫 IP 核验误判成拦截。

Anthropic 的其他爬虫