meta-externalagent
用于训练基础 AI 模型或直接索引内容以改进产品等用途。
屏蔽后会怎样
内容不再被 Meta-ExternalAgent 抓取，用于训练 Meta 基础模型等用途。
robots.txt 写法
屏蔽：
User-agent: meta-externalagent Disallow: /
显式放行（当有更宽的规则拦了其他机器人时有用）：
User-agent: meta-externalagent Allow: /
官方原文
The Meta-ExternalAgent crawler crawls the web for use cases such as training foundation AI models or improving products by indexing content directly.Meta 文档，核对于 2026-10-31
Meta 的其他爬虫
meta-webindexer
Meta
为提升 Meta AI 搜索结果质量而索引网页，允许它有助于 Meta AI 回答中引用并链接你的内容。
meta-externalfetcher
Meta
按用户请求抓取单个链接，可能绕过 robots.txt。
meta-externalagent 能访问你的网站吗？
免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。