Shopify 与 AI 爬虫：robots.txt.liquid 以及你能控制的部分

更新于 2026-11-03

Shopify 对 AI 爬虫有两层控制：你可以自定义的 robots.txt 文件，以及由 Shopify 统一管理的网络层。

在 ChatGPT 或 Copilot 上销售？Shopify 通过 Shopify Catalog 向智能体店面同步商品数据，与 robots.txt 无关。拦截爬虫只影响在开放网络上被发现，不影响这些渠道。

1. 用 robots.txt.liquid 自定义 robots.txt

在 Shopify 后台进入 Online Store（在线商店）。
在已发布的主题上点击 ⋯ → Edit code（编辑代码）。
点击 Add a new template，选择 robots，再点击 Create template。这会创建一个包含 Shopify 默认规则的 robots.txt.liquid。
添加你自己的规则组，保留默认规则，然后保存。

Shopify 建议用 Liquid 添加指令，而不是把模板整个替换成纯文本，这样它的默认规则才能继续自动更新。下面是要添加的规则组的纯文本示例，作用是拒绝训练、保留 AI 搜索：

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Shopify 将此视为不受支持的自定义：其支持团队无法协助修改，并提醒错误使用可能导致全部流量丢失。每次修改后都请重新检测。

2. 实际请求被拦截时

Shopify 在网络层为所有店铺统一处理爬虫管理，并且不推荐、也不支持在 Shopify 前面加 Cloudflare 之类的代理。如果 robots.txt 允许某个爬虫，而我们的实际请求被拦截，请移除你添加的代理，检查是否有应用加了爬虫防护或地区屏蔽；如果问题仍然存在，请附上报告链接向 Shopify 反馈。

3. 让商品页可读

大多数 AI 爬虫不执行 JavaScript。如果报告显示在不运行 JavaScript 时页面文字很少，请确认商品标题、价格和描述写在主题的 HTML 里，而不是在页面加载后由应用注入。

参考来源

Shopify Help: Editing robots.txt.liquid（Shopify 帮助中心：编辑 robots.txt.liquid） ↗

修完再测一次

免费，无需注册。我们以 18 种不同身份请求你的首页，告诉你每个请求拿到了什么。

其他指南：Cloudflare · CloudFront / AWS WAF · WordPress · 腾讯云 EdgeOne · 阿里云 ESA / CDN · 宝塔面板 · 百度智能云 CDN / WAF