首页 / AI 爬虫 / Claude-Agent

Claude-Agent

运营方Anthropic
用途其他
遵守 robots.txt官方未说明
来源官方文档 ↗

Anthropic 托管的真实浏览器,在 Claude Duet 等产品里按用户指示完成任务;UA 是浏览器本身的,附加 Claude-Agent 标识。IP 段公布在 claude.com/.well-known/sail,与 ClaudeBot、Claude-User、Claude-SearchBot 分开管理。

屏蔽后会怎样

用户无法让 Claude 的托管浏览器在你的网站上替他完成任务;不影响 Anthropic 的爬虫。官方页面没有说明它是否遵守 robots.txt,识别时应核对公布的 IP 段,UA 可被伪造。

robots.txt 写法

屏蔽:

User-agent: Claude-Agent
Disallow: /

显式放行(当有更宽的规则拦了其他机器人时有用):

User-agent: Claude-Agent
Allow: /

官方原文

Allowing or disallowing this traffic will control whether your users can ask their Claude services that leverage this type of agentic browser use to complete tasks on your website.Anthropic 文档,核对于 2026-11-05

Anthropic 的其他爬虫

ClaudeBot
Anthropic

收集可能用于训练 Anthropic 生成式模型的网页内容。

Claude-SearchBot
Anthropic

为提升 Claude 搜索结果质量而索引网页。

Claude-User
Anthropic

用户向 Claude 提问时代为访问网页。

Claude-Agent 能访问你的网站吗?

免费,无需注册。我们以 18 种不同身份请求你的首页,告诉你每个请求拿到了什么。