Googlebot
Google 搜索主爬虫，自动抓取时总是遵守 robots.txt。
屏蔽后会怎样
会影响 Google 搜索（含 Discover、图片、新闻等）。如果目的是拒绝 AI 训练，应该禁止 Google-Extended，而不是 Googlebot。
robots.txt 写法
屏蔽：
User-agent: Googlebot Disallow: /
显式放行（当有更宽的规则拦了其他机器人时有用）：
User-agent: Googlebot Allow: /
官方原文
Crawling preferences addressed to the Googlebot user agent affect Google Search (including Discover and all Google Search features), as well as other products such as Google Images, Video mode, Google News, and Discover.Google 文档，核对于 2026-10-31
robots.txt 允许了，它就真能进来吗？
即使 robots.txt 欢迎 Googlebot，防火墙或 CDN 规则也可能拒绝它，而后台不会有任何提示。我们的检测会以 Googlebot 的身份实际请求，同时用浏览器和 Googlebot 做对照，避免把爬虫 IP 核验误判成拦截。
Google 的其他爬虫
Google-Extended
Google
独立的控制 token，不单独发请求：控制 Google 抓到的内容能否用于训练未来的 Gemini 模型，以及用于 Gemini Apps / Vertex AI 的 grounding。
Google-CloudVertexBot
Google
应网站所有者的请求抓取，用于搭建 Vertex AI Agents。
Googlebot 能访问你的网站吗？
免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。