CCBot
非营利组织 Common Crawl 的爬虫，产出任何人都可获取的公开网页数据集。官方页面没有直接写“用于 AI 训练”，但该数据集被广泛用作训练语料（此为业界共识，非官方表述）。
屏蔽后会怎样
今后的页面不会进入 Common Crawl 公开数据集（已有快照不会撤回）。
robots.txt 写法
屏蔽：
User-agent: CCBot Disallow: /
显式放行（当有更宽的规则拦了其他机器人时有用）：
User-agent: CCBot Allow: /
官方原文
To prevent Common Crawl from crawling your website, include the following in your robots.txt: User-agent: CCBot Disallow: /Common Crawl 文档，核对于 2026-10-31
CCBot 能访问你的网站吗？
免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。