Baiduspider

百度搜索引擎爬虫，遵守 robots 协议。百度没有公开独立的“AI 训练用途”控制 token（未找到官方说明）。

屏蔽后会怎样

网页在百度及所有使用百度搜索服务的搜索引擎中都搜不到。

robots.txt 写法

屏蔽：

User-agent: Baiduspider
Disallow: /

显式放行（当有更宽的规则拦了其他机器人时有用）：

User-agent: Baiduspider
Allow: /

官方原文

Baiduspider遵守互联网robots协议……禁止Baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。百度 文档，核对于 2026-10-31

robots.txt 允许了，它就真能进来吗？

即使 robots.txt 欢迎 Baiduspider，防火墙或 CDN 规则也可能拒绝它，而后台不会有任何提示。我们的检测会以 Baiduspider 的身份实际请求，同时用浏览器和 Googlebot 做对照，避免把爬虫 IP 核验误判成拦截。