1000 个大站,
只有 47 个拦了 AI 训练
我们重新抓了 1000 个大型中文站的 /robots.txt 和 /llms.txt,用 RFC 9309 规则逐个判定 22 个 AI 与搜索爬虫。拦了至少一个 AI 训练爬虫的只有 47 个(4.7%),写了新提案 __usage_ai-training 的是 0。真正的 llms.txt 从 30 个涨到 38 个。
* 按 1000 全样本计。AI 训练爬虫指 GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、meta-externalagent、CCBot、Amazonbot 七个;Bytespider 的训练用途官方未说明,不计入。
AI 爬虫规则
N=1000| robots.txt 状态 | 数量 | 占比 |
|---|---|---|
| 有规则,可逐条判定 | 422 | 42.2% |
| 404 / 4xx(按 RFC 9309 视为全部允许) | 351 | 35.1% |
| 超时 / 拒连 / 5xx(按 RFC 视为全部禁止) | 141 | 14.1% |
| 裸域与 www 都没有 DNS 记录 | 86 | 8.6% |
在 422 个有规则的站里:点名写到任一 AI 爬虫的 54 个;实际拦了至少一个 AI 训练爬虫的 47 个,其中 27 个是专门写的规则,20 个是"只放行指定搜索引擎、其余 * 全拦"的白名单写法顺带拦住的。七个训练爬虫全拦的 24 个,GPTBot、ClaudeBot、Google-Extended 三家全拦的 28 个。
| 专门点名拦截(Disallow: /) | 站数 | 含 * 拦截 |
|---|---|---|
| GPTBot(OpenAI 训练) | 22 | 41 |
| ClaudeBot(Anthropic 训练) | 16 | 37 |
| CCBot(Common Crawl 数据集) | 16 | 38 |
| Bytespider(字节) | 14 | 33 |
| Google-Extended(Gemini 训练与 grounding) | 11 | 33 |
| Amazonbot | 11 | 32 |
| meta-externalagent(Meta 训练) | 9 | 29 |
| Applebot-Extended(Apple 训练) | 8 | 30 |
| Baiduspider(百度搜索) | 6 | 15 |
专门拦 GPTBot 的 22 个站里,台港媒体与论坛占一半(PTT、联合新闻网、中时、东网、Mobile01、iThome、科技新报、雅虎台湾等);大陆有阿里巴巴国际站、速卖通、爱奇艺、财新、安居客、同程、Canva 中国、江苏省政府、南京市政府。用 Cloudflare Content-Signal 声明的有 6 个:微博、PTT、Mobile01、萌娘百科、iThome、php.cn。
- 以为专属组会继承 * 的规则(47 站)。RFC 9309 下,一旦给 GPTBot 单独写了组,它就只看自己那一组。
- 拦了 Google-Extended,没意识到它也关掉 Gemini grounding(33 站)。不只是"不让训练"。
- 用 * 全拦,顺带把搜索类 AI 爬虫也拦了(23 站)。OAI-SearchBot、PerplexityBot 等被拦,AI 搜索里就引用不到你。
- * 拦了,专属组又把某家 AI 放开(15 站)。多半是复制模板留下的。
- 规则行缺冒号、User-agent 写错(74 + 22 站)。这些行会被解析器直接忽略。
llms.txt 复查
N=1000| 检测结果 | 10 月 | 11 月 |
|---|---|---|
| 根目录有真正的 llms.txt(200 + Markdown) | 30 | 38 |
| 200 但返回 HTML(页面壳 / 拦截页) | 164 | 170 |
| 404(无文件) | 412 | 513 |
| 未能判定(WAF 拦截 / 超时 / 5xx / 无 DNS) | 390 | 273 |
| 200 非规范文本(robots 内容 / 空文件等) | 4 | 6 |
38 个有文件的站平均 80.8 分:100 分 11 个,90–99 分 14 个,80–89 分 2 个,60–79 分 4 个,60 以下 7 个(含 2 个 0 分不合规)。"未能判定"变少,一是这次裸域没有 DNS 时补查了 www,二是修掉了上期检测器的一处对端地址核验缺陷——10 月数字里有一部分其实是误判。
上期的满分站全部保持。环球网 100、凤凰网 99、七牛云 99、宝塔 95 也没掉。
光明网、电子工程世界、远见杂志等 9 个站是这个月新放的,光明网和电子工程世界直接 100 分。
什么值得买的 /llms.txt 变成了网页壳;华尔街见闻这次没测到。
一个月过去,分数没动。做了≠做好,也≠有人维护。
四个观察
大站对 AI 基本不设防
淘宝、京东、腾讯网、B站对 AI 爬虫都是放行的。真正写了 AI 规则的只有 5% 左右,比 llms.txt 的采用率高不了多少。
"拦 AI"多半是白名单的副作用
百度、小红书、快手、微博等用的是"只放行指定搜索引擎、其余全拦"的老写法,AI 爬虫是被顺带拦住的,不是专门决定。
专门拦 AI 的,台港媒体最积极
点名拦 GPTBot 的 22 个站里一半是台港新闻与论坛。大陆专门写规则的多是出海电商(阿里巴巴国际站、速卖通)和内容版权方(爱奇艺、财新)。
统一训练 token 还没人用
__usage_ai-training 是 2026-10-30 才发布的个人草案,Anthropic 已开始实现,OpenAI、微软、Google 计划在 2027 年前后支持。现在写一条,以后新增的 AI 爬虫也能覆盖。
独立站抽样
N=100 · 10 月数据独立站这次没有重测,以下为 2026-10-04 的 llms.txt 结果。
| 检测结果 | 数量 | 占比 |
|---|---|---|
| 根目录有真正的 llms.txt | 19 | 19% |
| 200 但返回 HTML(SPA 伪装) | 14 | 14% |
| 404(无文件) | 65 | 65% |
| 连接失败 | 2 | 2% |
55 个项目站 + 45 个独立博客。19 个命中里 16 个是项目站、仅 3 个是博客(博客圈覆盖率约 7%)。有文件者平均 81.2 分,9 个满分。
独立站里的教科书写法。后者是中文独立博客,博客圈 7% 里的 3 个之一。
- 裸 URL,而不是 Markdown 链接(12/19)。AI 拿不到链接文本。
- 重复 URL(5/19)。多为从导航栏复制粘贴所致。
- 链接没有写描述(4/19)。AI 不知道页面是干嘛的。
- H1 后缺一句话摘要(4/19)。直接丢 20 分。
- H1 重复 / 空分组(各 3/19)。多个 H1 直接判不合规。
调查方法
- 大型站名单与 10 月相同:公开流量排名(Tranco/Umbrella 系)按 .cn 等归属中国的 TLD 过滤,另人工补全知名非 .cn 中文大站,去重后 1000。
- 2026-11-01 从一台境外服务器逐站 GET https://域名/robots.txt 与 /llms.txt:https 优先、传输失败回退 http;手动跟随跳转最多 5 跳、每跳重新校验;单次 10 秒超时;robots 只取前 512KiB、llms 前 200KB;UA 为 cetxt-check/2.0。裸域没有 DNS 记录时再查 www(237 站)。
- robots.txt 按 RFC 9309 判定:User-agent 大小写不敏感前缀匹配、最长路径优先、Allow 平局优先、* 与 $ 通配;4xx 视为全部允许,5xx 与不可达视为全部禁止。逐个判定 22 个 AI 与搜索爬虫(清单与来源见 ai-crawlers.json)。
- llms.txt 判定与 10 月一致:200 且内容为 Markdown 记为真文件,用 VAKSEL 的 llms.txt 校验引擎(llmstxt.org v2 确定性规则)打分。
- 局限:境外出口会被部分站的 WAF 拦截或超时(美团、CSDN、上海交大、央视等),14.1% 的 robots 和 27.3% 的 llms 没测到;只测根目录;robots 规则只代表站方声明,不代表爬虫一定遵守。
名单
大型站 1000 个完整数据可搜索、筛选(2026-11-01 重测,状态为公开 URL 的返回事实;10 月旧数据见 data-2026-10.json)。独立站 100 名单如下。
独立站 · 有真正的 llms.txt19
- ad-morph.comAdMorph50 分
- aibeautytest.orgFree AI Beauty Test80 分
- aiflowmusic.comAIFlowMusic50 分
- ainsight.aiext.co热点智读30 分
- blog.mfwt.top枫林灯语100 分
- bskyinfo.comBlueSky SDK100 分
- freeconvert.ccFreeConvert30 分
- icebreaker.topicebreaker100 分
- launchalways.comLaunchAlways100 分
- orkas.aiOrkas60 分
- pixsprout.compixsprout.com100 分
- podwise.xyzPodwise80 分
- professional-headshot.aiProfessional-Headshot.ai90 分
- showmebest.aiShowMeBestAI100 分
- testhive.elolin.comTestHive100 分
- tidelink.xyzTideLink93 分
- uwillno.comUWillno's Blog80 分
- vocalrangetest.orgvocal range test100 分
- yasuo.appNeatCompress100 分
独立站 · 200 但返回 HTML14
- asmrvideo.aiAI ASMR视频生成器
- baby7blog.com七仔的博客
- blog.yeefire.comSirius's Blog
- ccagml.comccagml的博客
- foolstack.net海报图生成 - Foolstack
- grayscaleimage.orgGrayscale Image
- hagicode.comHagicode
- kingname.info谢乾坤-青南
- loamery.com沉淀记 Loamery
- morsecode-translator.appMORSE CODE
- nanobanana-ai.netNano Banana AI
- old-panda.comPanda Home
- rss.anyant.com蚁阅
- sora2api.orgsora2 api
独立站 · 无文件67
- ai.dreamthere.cnAI导航
- ai.renyuzhuo.cnRAIS
- aicodeconvert.comAICodeConvert
- aimoviefinder.netAiMovieFinder
- arnis.appArnis
- blog.baicai.me白菜
- blog.cysi.meCysime Moflu
- blog.fengjx.com铁匠's blog
- blog.kevinzhow.comKevin Blog
- blog.lazyforever.toplazy_forever's Blog
- blog.mmf.moeYesterday17's Blog
- chris-saas-services.stomeonst123.chatgpt.siteLaunchClear
- ddadaal.meddadaal.me
- dognamesworld.comDog Names World
- dyy.nianmo.top捻墨运营笔记
- eaimty.comEAimTY 的博客
- ei.xcl.ink诶嘿(EI)
- enderfga.cnEnderfga's blog
- ext.dcloud.net.cn表情小程序-前后台源码
- eyetestonline.org视力测试
- gliss.proGliss
- hermine.in赫尔米娜及其他
- icodex.meicodex
- idjpg.comIDjpg 图片风格化
- imhanjm.comhanjm's Blog
- iscompress.comisCompress
- jayzangwill.github.ioJay Zangwill的博客
- kaopubear.top思考问题的熊
- kestrel-task.cn微芒计划
- kubesphereio.com一切皆有可能
- lxb.wikiXiaobin's Blog
- lxnchan.cn泠泫凝的异次元空间
- mafeifan.commafeifan的技术博客
- marketplace.visualstudio.comGroup Tab Tree
- mianao.info不吐不快
- mingnify.com明立非(Mingnify)的博客
- mosuzi.comMosu - Mosuzi的博客
- muyun.workMuyun的杂谈
- nalaginrut.comNala Ginrut's Blog
- oldj.netoldj's blog
- owl.hanshutx.comOwl 猫头鹰
- physixfan.com宇宙的心弦
- podcast.hubtoday.appAI 播客生成器
- questionlib.net问题库
- ramble.imzh.meJZ's Rambles
- randomanimalgen.comRandom Animal Generator
- rao.picseagleuse
- sbtitest.meSBTI Test
- seedreamai.runSeedream AI
- shifeiti.com是非题
- songguru.aiSongGuru.AI
- summagraph.comSummaGraph
- sword.studio杂货屋
- synexa.aiSynexa AI
- tonzhon.com铜钟音乐
- video2prompt.ioVideo to Prompt
- videodance.ccVideodance
- wandoer.com豌豆(没有荚)
- whyya.xyz小陶持续精进
- wmsonline.ikeyly.comModernWMS
- works.yangerxiao.com静心呼吸调节器
- xianrenlife.com闲人Life
- xldream.comxldream
- xnum.github.ioxnum's Blog
- xugaoxiang.com迷途小书童
- yuexun.meYuexun's Blog
- zackwu.com无辄的栈