AI 爬虫变更日志

文档指纹最后记录于 2026 年 11 月 5 日

AI 公司新增爬虫、给爬虫改名、改变 robots.txt 能管的范围时，你的规则不用动也可能失效。我们给每家运营方的爬虫文档做指纹，和线上页面比对，读过原文后才在这里记一条。

1. 2026-11-05
   官方文档变更

   Anthropic 调整了 ClaudeBot 与 robots.txt 的关系：自 2026 年 10 月 30 日起同时识别机器可读的“禁止 AI 训练”偏好信号；robots.txt 中点名 ClaudeBot 的规则优先，未提及 ClaudeBot 时按该信号处理。

   “ClaudeBot is our training crawler, and we treat rules that name it directly as more specific than the general signal.”

   ClaudeBot

   来源 ↗

2. 2026-11-04
   目录更新

   新增三个已在官方文档列出的爬虫：OpenAI 的广告审核爬虫、Google 的 Vertex AI Agents 爬虫、Amazon 为 Alexa 用户实时抓取的爬虫。均不计入评级。

   OAI-AdsBot Google-CloudVertexBot Amzn-User

3. 2026-11-04
   目录更新

   新增 Mistral AI（三个爬虫）、You.com、Yandex、Naver 的爬虫。都做 robots.txt 分析，暂不计入评级。

   MistralAI-User MistralAI-Index MistralAI-Training YouBot YandexBot Yeti

4. 2026-11-02
   目录更新

   新增国内搜索引擎与 Kimi：华为 PetalBot、搜狗、360、神马，以及月之暗面的三个 Kimi 爬虫。单独分组，不计评级。

   PetalBot Sogou web spider 360Spider YisouSpider Kimi-SearchBot Kimi-User KimiBot

5. 2026-10-31
   目录更新

   爬虫目录上线，收录 OpenAI、Anthropic、Google、Apple、Perplexity、微软、Meta、亚马逊、DuckDuckGo、Common Crawl、字节跳动、百度共 22 个爬虫，逐条对照官方文档。

我们比对的页面

21 个官方页面，覆盖 38 个爬虫。页面有变化，读过之后才会记入日志；与爬虫无关的排版和措辞改动不记。