meta-webindexer
为提升 Meta AI 搜索结果质量而索引网页，允许它有助于 Meta AI 回答中引用并链接你的内容。官方页面的 robots 示例未单独提到它。
屏蔽后会怎样
Meta AI 回答中可能不再引用、链接你的内容。
robots.txt 写法
屏蔽：
User-agent: meta-webindexer Disallow: /
显式放行（当有更宽的规则拦了其他机器人时有用）：
User-agent: meta-webindexer Allow: /
官方原文
Allowing Meta-WebIndexer in your robots.txt file helps us cite and link to your content in Meta AI's responses.Meta 文档，核对于 2026-10-31
robots.txt 允许了，它就真能进来吗？
即使 robots.txt 欢迎 meta-webindexer，防火墙或 CDN 规则也可能拒绝它，而后台不会有任何提示。我们的检测会以 meta-webindexer 的身份实际请求，同时用浏览器和 Googlebot 做对照，避免把爬虫 IP 核验误判成拦截。
Meta 的其他爬虫
meta-externalagent
Meta
用于训练基础 AI 模型或直接索引内容以改进产品等用途。
meta-externalfetcher
Meta
按用户请求抓取单个链接，可能绕过 robots.txt。
meta-webindexer 能访问你的网站吗？
免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。