VAKSEL 中文大站普查 · 2026-11-01 重测 · 大型站 1000 · robots.txt + llms.txt · 只读检测

1000 个大站,
只有 47 个拦了 AI 训练

我们重新抓了 1000 个大型中文站的 /robots.txt 和 /llms.txt,用 RFC 9309 规则逐个判定 22 个 AI 与搜索爬虫。拦了至少一个 AI 训练爬虫的只有 47 个(4.7%),写了新提案 __usage_ai-training 的是 0。真正的 llms.txt 从 30 个涨到 38 个。

iqiyi.com
点名拦 GPTBot / ClaudeBot
alibaba.com
点名拦 GPTBot / Google-Extended
baidu.com
白名单,AI 全被 * 拦
xiaohongshu.com
白名单,AI 全被 * 拦
bilibili.com
llms.txt 100 分
gitee.com
llms.txt 100 分
taobao.com
AI 爬虫放行
qq.com
AI 爬虫放行
4.7%
拦了 AI 训练爬虫
2.7%
专门点名拦截
0
用 __usage_ai-training
3.8%
有真正的 llms.txt

* 按 1000 全样本计。AI 训练爬虫指 GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、meta-externalagent、CCBot、Amazonbot 七个;Bytespider 的训练用途官方未说明,不计入。

01 · AI CRAWLERS

AI 爬虫规则

N=1000
robots.txt 状态数量占比
有规则,可逐条判定42242.2%
404 / 4xx(按 RFC 9309 视为全部允许)35135.1%
超时 / 拒连 / 5xx(按 RFC 视为全部禁止)14114.1%
裸域与 www 都没有 DNS 记录868.6%

在 422 个有规则的站里:点名写到任一 AI 爬虫的 54 个;实际拦了至少一个 AI 训练爬虫的 47 个,其中 27 个是专门写的规则,20 个是"只放行指定搜索引擎、其余 * 全拦"的白名单写法顺带拦住的。七个训练爬虫全拦的 24 个,GPTBot、ClaudeBot、Google-Extended 三家全拦的 28 个。

专门点名拦截(Disallow: /)站数含 * 拦截
GPTBot(OpenAI 训练)2241
ClaudeBot(Anthropic 训练)1637
CCBot(Common Crawl 数据集)1638
Bytespider(字节)1433
Google-Extended(Gemini 训练与 grounding)1133
Amazonbot1132
meta-externalagent(Meta 训练)929
Applebot-Extended(Apple 训练)830
Baiduspider(百度搜索)615

专门拦 GPTBot 的 22 个站里,台港媒体与论坛占一半(PTT、联合新闻网、中时、东网、Mobile01、iThome、科技新报、雅虎台湾等);大陆有阿里巴巴国际站、速卖通、爱奇艺、财新、安居客、同程、Canva 中国、江苏省政府、南京市政府。用 Cloudflare Content-Signal 声明的有 6 个:微博、PTT、Mobile01、萌娘百科、iThome、php.cn。

  1. 以为专属组会继承 * 的规则(47 站)。RFC 9309 下,一旦给 GPTBot 单独写了组,它就只看自己那一组。
  2. 拦了 Google-Extended,没意识到它也关掉 Gemini grounding(33 站)。不只是"不让训练"。
  3. 用 * 全拦,顺带把搜索类 AI 爬虫也拦了(23 站)。OAI-SearchBot、PerplexityBot 等被拦,AI 搜索里就引用不到你。
  4. * 拦了,专属组又把某家 AI 放开(15 站)。多半是复制模板留下的。
  5. 规则行缺冒号、User-agent 写错(74 + 22 站)。这些行会被解析器直接忽略。
02 · LLMS.TXT

llms.txt 复查

N=1000
检测结果10 月11 月
根目录有真正的 llms.txt(200 + Markdown)3038
200 但返回 HTML(页面壳 / 拦截页)164170
404(无文件)412513
未能判定(WAF 拦截 / 超时 / 5xx / 无 DNS)390273
200 非规范文本(robots 内容 / 空文件等)46

38 个有文件的站平均 80.8 分:100 分 11 个,90–99 分 14 个,80–89 分 2 个,60–79 分 4 个,60 以下 7 个(含 2 个 0 分不合规)。"未能判定"变少,一是这次裸域没有 DNS 时补查了 www,二是修掉了上期检测器的一处对端地址核验缺陷——10 月数字里有一部分其实是误判。

100 分
11
90–99
14
80–89
2
60–79
4
60 以下
7
bilibili.com / gitee.com / modelscope.cn100 / 优秀

上期的满分站全部保持。环球网 100、凤凰网 99、七牛云 99、宝塔 95 也没掉。

gmw.cn / eeworld.com.cn / gvm.com.tw新增

光明网、电子工程世界、远见杂志等 9 个站是这个月新放的,光明网和电子工程世界直接 100 分。

smzdm.com / wallstreetcn.com掉线

什么值得买的 /llms.txt 变成了网页壳;华尔街见闻这次没测到。

coze.cn / nvidia.cn / tvb.com50 / 30 / 50

一个月过去,分数没动。做了≠做好,也≠有人维护。

03 · NOTES

四个观察

大站对 AI 基本不设防

淘宝、京东、腾讯网、B站对 AI 爬虫都是放行的。真正写了 AI 规则的只有 5% 左右,比 llms.txt 的采用率高不了多少。

"拦 AI"多半是白名单的副作用

百度、小红书、快手、微博等用的是"只放行指定搜索引擎、其余全拦"的老写法,AI 爬虫是被顺带拦住的,不是专门决定。

专门拦 AI 的,台港媒体最积极

点名拦 GPTBot 的 22 个站里一半是台港新闻与论坛。大陆专门写规则的多是出海电商(阿里巴巴国际站、速卖通)和内容版权方(爱奇艺、财新)。

统一训练 token 还没人用

__usage_ai-training 是 2026-10-30 才发布的个人草案,Anthropic 已开始实现,OpenAI、微软、Google 计划在 2027 年前后支持。现在写一条,以后新增的 AI 爬虫也能覆盖。

04 · INDIE 100

独立站抽样

N=100 · 10 月数据

独立站这次没有重测,以下为 2026-10-04 的 llms.txt 结果。

检测结果数量占比
根目录有真正的 llms.txt1919%
200 但返回 HTML(SPA 伪装)1414%
404(无文件)6565%
连接失败22%

55 个项目站 + 45 个独立博客。19 个命中里 16 个是项目站、仅 3 个是博客(博客圈覆盖率约 7%)。有文件者平均 81.2 分,9 个满分。

yasuo.app / blog.mfwt.top100 / 优秀

独立站里的教科书写法。后者是中文独立博客,博客圈 7% 里的 3 个之一。

  1. 裸 URL,而不是 Markdown 链接(12/19)。AI 拿不到链接文本。
  2. 重复 URL(5/19)。多为从导航栏复制粘贴所致。
  3. 链接没有写描述(4/19)。AI 不知道页面是干嘛的。
  4. H1 后缺一句话摘要(4/19)。直接丢 20 分。
  5. H1 重复 / 空分组(各 3/19)。多个 H1 直接判不合规。
05 · METHOD

调查方法

  • 大型站名单与 10 月相同:公开流量排名(Tranco/Umbrella 系)按 .cn 等归属中国的 TLD 过滤,另人工补全知名非 .cn 中文大站,去重后 1000。
  • 2026-11-01 从一台境外服务器逐站 GET https://域名/robots.txt 与 /llms.txt:https 优先、传输失败回退 http;手动跟随跳转最多 5 跳、每跳重新校验;单次 10 秒超时;robots 只取前 512KiB、llms 前 200KB;UA 为 cetxt-check/2.0。裸域没有 DNS 记录时再查 www(237 站)。
  • robots.txt 按 RFC 9309 判定:User-agent 大小写不敏感前缀匹配、最长路径优先、Allow 平局优先、* 与 $ 通配;4xx 视为全部允许,5xx 与不可达视为全部禁止。逐个判定 22 个 AI 与搜索爬虫(清单与来源见 ai-crawlers.json)。
  • llms.txt 判定与 10 月一致:200 且内容为 Markdown 记为真文件,用 VAKSEL 的 llms.txt 校验引擎(llmstxt.org v2 确定性规则)打分。
  • 局限:境外出口会被部分站的 WAF 拦截或超时(美团、CSDN、上海交大、央视等),14.1% 的 robots 和 27.3% 的 llms 没测到;只测根目录;robots 规则只代表站方声明,不代表爬虫一定遵守。

你的站呢?

花 30 秒,看看你的 robots.txt 对 AI 爬虫怎么说、llms.txt 能拿几分。

免费检测我的网站 →
06 · LIST

名单

大型站 1000 个完整数据可搜索、筛选(2026-11-01 重测,状态为公开 URL 的返回事实;10 月旧数据见 data-2026-10.json)。独立站 100 名单如下。

加载中…
    独立站 · 有真正的 llms.txt19
    • ad-morph.comAdMorph50 分
    • aibeautytest.orgFree AI Beauty Test80 分
    • aiflowmusic.comAIFlowMusic50 分
    • ainsight.aiext.co热点智读30 分
    • blog.mfwt.top枫林灯语100 分
    • bskyinfo.comBlueSky SDK100 分
    • freeconvert.ccFreeConvert30 分
    • icebreaker.topicebreaker100 分
    • launchalways.comLaunchAlways100 分
    • orkas.aiOrkas60 分
    • pixsprout.compixsprout.com100 分
    • podwise.xyzPodwise80 分
    • professional-headshot.aiProfessional-Headshot.ai90 分
    • showmebest.aiShowMeBestAI100 分
    • testhive.elolin.comTestHive100 分
    • tidelink.xyzTideLink93 分
    • uwillno.comUWillno's Blog80 分
    • vocalrangetest.orgvocal range test100 分
    • yasuo.appNeatCompress100 分
    独立站 · 200 但返回 HTML14
    • asmrvideo.aiAI ASMR视频生成器
    • baby7blog.com七仔的博客
    • blog.yeefire.comSirius's Blog
    • ccagml.comccagml的博客
    • foolstack.net海报图生成 - Foolstack
    • grayscaleimage.orgGrayscale Image
    • hagicode.comHagicode
    • kingname.info谢乾坤-青南
    • loamery.com沉淀记 Loamery
    • morsecode-translator.appMORSE CODE
    • nanobanana-ai.netNano Banana AI
    • old-panda.comPanda Home
    • rss.anyant.com蚁阅
    • sora2api.orgsora2 api
    独立站 · 无文件67
    • ai.dreamthere.cnAI导航
    • ai.renyuzhuo.cnRAIS
    • aicodeconvert.comAICodeConvert
    • aimoviefinder.netAiMovieFinder
    • arnis.appArnis
    • blog.baicai.me白菜
    • blog.cysi.meCysime Moflu
    • blog.fengjx.com铁匠's blog
    • blog.kevinzhow.comKevin Blog
    • blog.lazyforever.toplazy_forever's Blog
    • blog.mmf.moeYesterday17's Blog
    • chris-saas-services.stomeonst123.chatgpt.siteLaunchClear
    • ddadaal.meddadaal.me
    • dognamesworld.comDog Names World
    • dyy.nianmo.top捻墨运营笔记
    • eaimty.comEAimTY 的博客
    • ei.xcl.ink诶嘿(EI)
    • enderfga.cnEnderfga's blog
    • ext.dcloud.net.cn表情小程序-前后台源码
    • eyetestonline.org视力测试
    • gliss.proGliss
    • hermine.in赫尔米娜及其他
    • icodex.meicodex
    • idjpg.comIDjpg 图片风格化
    • imhanjm.comhanjm's Blog
    • iscompress.comisCompress
    • jayzangwill.github.ioJay Zangwill的博客
    • kaopubear.top思考问题的熊
    • kestrel-task.cn微芒计划
    • kubesphereio.com一切皆有可能
    • lxb.wikiXiaobin's Blog
    • lxnchan.cn泠泫凝的异次元空间
    • mafeifan.commafeifan的技术博客
    • marketplace.visualstudio.comGroup Tab Tree
    • mianao.info不吐不快
    • mingnify.com明立非(Mingnify)的博客
    • mosuzi.comMosu - Mosuzi的博客
    • muyun.workMuyun的杂谈
    • nalaginrut.comNala Ginrut's Blog
    • oldj.netoldj's blog
    • owl.hanshutx.comOwl 猫头鹰
    • physixfan.com宇宙的心弦
    • podcast.hubtoday.appAI 播客生成器
    • questionlib.net问题库
    • ramble.imzh.meJZ's Rambles
    • randomanimalgen.comRandom Animal Generator
    • rao.picseagleuse
    • sbtitest.meSBTI Test
    • seedreamai.runSeedream AI
    • shifeiti.com是非题
    • songguru.aiSongGuru.AI
    • summagraph.comSummaGraph
    • sword.studio杂货屋
    • synexa.aiSynexa AI
    • tonzhon.com铜钟音乐
    • video2prompt.ioVideo to Prompt
    • videodance.ccVideodance
    • wandoer.com豌豆(没有荚)
    • whyya.xyz小陶持续精进
    • wmsonline.ikeyly.comModernWMS
    • works.yangerxiao.com静心呼吸调节器
    • xianrenlife.com闲人Life
    • xldream.comxldream
    • xnum.github.ioxnum's Blog
    • xugaoxiang.com迷途小书童
    • yuexun.meYuexun's Blog
    • zackwu.com无辄的栈