Claude-User

用户向 Claude 提问时代为访问网页；站长可用 robots.txt 控制。

屏蔽后会怎样

Claude 无法在回答用户问题时读取你的页面，可能降低在用户主动搜索中的可见度。

robots.txt 写法

屏蔽：

User-agent: Claude-User
Disallow: /

显式放行（当有更宽的规则拦了其他机器人时有用）：

User-agent: Claude-User
Allow: /

官方原文

Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query, which may reduce your site's visibility for user-directed web search.Anthropic 文档，核对于 2026-10-31

robots.txt 允许了，它就真能进来吗？

即使 robots.txt 欢迎 Claude-User，防火墙或 CDN 规则也可能拒绝它，而后台不会有任何提示。我们的检测会以 Claude-User 的身份实际请求，同时用浏览器和 Googlebot 做对照，避免把爬虫 IP 核验误判成拦截。

Anthropic 的其他爬虫