AI 爬虫百科

用于在 ChatGPT 搜索功能中展示网站。

为提升 Claude 搜索结果质量而索引网页。

Google 搜索主爬虫，自动抓取时总是遵守 robots.txt。

Apple 搜索爬虫（Spotlight、Siri、Safari）。

用于在 Perplexity 搜索结果中展示并链接网站，不用于抓取 AI 基础模型训练内容。

Bing 标准爬虫，负责绝大部分抓取。

官方文档称其为头条搜索爬虫（建立搜索索引）。

华为花瓣搜索（Petal Search）的爬虫。

为提升 Meta AI 搜索结果质量而索引网页，允许它有助于 Meta AI 回答中引用并链接你的内容。

用于 Alexa 等 Amazon 搜索体验，不抓取生成式 AI 训练内容。

为 DuckDuckGo 的 AI 辅助答案实时抓取页面（答案会显著标注来源），数据不用于训练 AI 模型。

百度搜索引擎爬虫，遵守 robots 协议。

搜狗搜索的网页爬虫。

360 搜索的网页爬虫。

神马搜索（UC、夸克系移动搜索）的爬虫。

Kimi 搜索功能的爬虫，用来建立搜索索引。

为 Mistral 搜索建立索引，用来回答 Vibe 里用户的提问。

You.com 搜索引擎的爬虫，为 You.com 的 AI 搜索建索引。

Yandex 主索引爬虫。

韩国 Naver 搜索的爬虫，官方说明遵守 robots.txt。

ChatGPT / Custom GPT 中由用户操作触发的访问，不做自动爬取。

用户向 Claude 提问时代为访问网页。

用户在 Perplexity 提问时代为访问页面。

按用户请求抓取单个链接，可能绕过 robots.txt。

用户在 Kimi 里让它读某篇文章或联网回答时按需抓取。

用户在 Mistral 的助手里提问时按需访问网页并在回答中附上来源链接。

支持用户操作，例如回答需要最新信息的 Alexa 提问时，代用户实时抓取网页。

抓取可能用于训练 OpenAI 生成式基础模型的内容。

收集可能用于训练 Anthropic 生成式模型的网页内容。

用于训练基础 AI 模型或直接索引内容以改进产品等用途。

用于改进 Amazon 产品与服务，可能用于训练 Amazon AI 模型。

Kimi 的训练爬虫。

抓取网页内容，用于构建训练 Mistral 生成式 AI 模型的数据集。

独立的控制 token，不单独发请求：控制 Google 抓到的内容能否用于训练未来的 Gemini 模型，以及用于 Gemini Apps / Vertex AI 的 grounding。

不抓取网页，只决定 Applebot 抓到的数据能否用于训练 Apple 的通用基础模型。

非营利组织 Common Crawl 的爬虫，产出任何人都可获取的公开网页数据集。

核查在 ChatGPT 投放广告的落地页是否安全合规，也可能用落地页内容判断何时展示该广告。

应网站所有者的请求抓取，用于搭建 Vertex AI Agents。