YouBot

You.com 搜索引擎的爬虫，为 You.com 的 AI 搜索建索引。官方说明遵守 robots.txt 与抓取频率设置。

屏蔽后会怎样

页面进不了 You.com 的索引，不会出现在它的 AI 搜索结果里。

robots.txt 写法

屏蔽：

User-agent: YouBot
Disallow: /

显式放行（当有更宽的规则拦了其他机器人时有用）：

User-agent: YouBot
Allow: /

官方原文

YouBot is the web crawler that powers the You.com search engine. ... It respects robots.txt directives and crawl rate preferences.You.com 文档，核对于 2026-11-04

robots.txt 允许了，它就真能进来吗？

即使 robots.txt 欢迎 YouBot，防火墙或 CDN 规则也可能拒绝它，而后台不会有任何提示。我们的检测会以 YouBot 的身份实际请求，同时用浏览器和 Googlebot 做对照，避免把爬虫 IP 核验误判成拦截。