meta-externalfetcher
按用户请求抓取单个链接，可能绕过 robots.txt。
屏蔽后会怎样
官方说明它可能绕过 robots.txt。
robots.txt 写法
屏蔽：
User-agent: meta-externalfetcher Disallow: /
显式放行（当有更宽的规则拦了其他机器人时有用）：
User-agent: meta-externalfetcher Allow: /
官方原文
The Meta-ExternalFetcher crawler may bypass robots.txt because it performs fetches that were requested by the user.Meta 文档，核对于 2026-10-31
robots.txt 允许了，它就真能进来吗？
即使 robots.txt 欢迎 meta-externalfetcher，防火墙或 CDN 规则也可能拒绝它，而后台不会有任何提示。我们的检测会以 meta-externalfetcher 的身份实际请求，同时用浏览器和 Googlebot 做对照，避免把爬虫 IP 核验误判成拦截。
Meta 的其他爬虫
meta-externalagent
Meta
用于训练基础 AI 模型或直接索引内容以改进产品等用途。
meta-webindexer
Meta
为提升 Meta AI 搜索结果质量而索引网页，允许它有助于 Meta AI 回答中引用并链接你的内容。
meta-externalfetcher 能访问你的网站吗？
免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。