Bytespider

官方文档称其为头条搜索爬虫（建立搜索索引）。是否用于 AI 训练、是否遵守 robots.txt，本页官方文档均未写明。

屏蔽后会怎样

会影响头条搜索收录；是否能阻止 AI 训练用途，官方没有说明。

robots.txt 写法

屏蔽：

User-agent: Bytespider
Disallow: /

显式放行（当有更宽的规则拦了其他机器人时有用）：

User-agent: Bytespider
Allow: /

官方原文

头条搜索的爬虫UA为“Bytespider”ByteDance 文档，核对于 2026-10-31

robots.txt 允许了，它就真能进来吗？

即使 robots.txt 欢迎 Bytespider，防火墙或 CDN 规则也可能拒绝它，而后台不会有任何提示。我们的检测会以 Bytespider 的身份实际请求，同时用浏览器和 Googlebot 做对照，避免把爬虫 IP 核验误判成拦截。