ClaudeBot
收集可能用于训练 Anthropic 生成式模型的网页内容；限制 ClaudeBot = 今后的内容不进入训练数据集。
屏蔽后会怎样
今后的内容会被排除在 Anthropic 模型训练数据之外。
robots.txt 写法
屏蔽：
User-agent: ClaudeBot Disallow: /
显式放行（当有更宽的规则拦了其他机器人时有用）：
User-agent: ClaudeBot Allow: /
官方原文
When a site restricts ClaudeBot access, it signals that the site's future materials should be excluded from our AI model training datasets.Anthropic 文档，核对于 2026-10-31
Anthropic 的其他爬虫
ClaudeBot 能访问你的网站吗？
免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。