GPTBot robots.txt для Shopify: практические примеры и проверки

robots.txt — это ворота, которые решают, могут ли AI-движки шопинга даже читать ваш магазин Shopify, прежде чем его цитировать. ChatGPT, Perplexity и Gemini отвечают на коммерческие запросы о товарах Shopify только тогда, когда их краулеры (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot) фактически получили содержимое страницы. Заблокируйте их в robots.txt — и вы невидимы; все остальные сигналы AI-видимости (schema, llms.txt, качество контента) становятся неактуальными.

Это руководство предоставляет практический пример Shopify robots.txt, откалиброванный для эры AI-шопинга: разрешить публичный контент магазина (товары, коллекции, блоги, страницы) для важных AI-краулеров, заблокировать пути checkout / account / admin, которые не должны быть открыты, и проверить с помощью Анализатора Robots.

Что доступ GPTBot может и не может делать#

Конкретно: разрешение GPTBot необходимо для видимости ChatGPT Shopping, но недостаточно. Краулер, достигающий страницы — это пол. Видимость выше gated качеством контента + структурированными данными.

Пути Shopify, которые должны оставаться сканируемыми#

Пути Shopify, которые должны оставаться защищёнными#

Пример robots.txt#

Вставьте в robots.txt.liquid темы Shopify (или asset robots.txt). Проверьте против ваших конкретных приложений + темы перед публикацией — это стартовая базовая линия, не универсальный ответ.

# Shopify AI-crawler robots.txt — starter baseline.
# Review against your theme, apps, privacy needs, and policy before
# publishing to production.

User-agent: GPTBot
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/

User-agent: OAI-SearchBot
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/

User-agent: ChatGPT-User
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/

User-agent: PerplexityBot
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/

User-agent: Googlebot
Allow: /
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/

Sitemap: https://your-store.myshopify.com/sitemap.xml

Чек-лист обзора#

Перед публикацией пройдите этот чек-лист. Каждый пункт соответствует способу, которым магазины Shopify обычно теряют видимость AI или раскрывают частные данные через robots.txt.

Shopify AI-crawler robots.txt review checklist

[ ] Public product pages (/products/) are not blocked.
[ ] Public collection pages (/collections/) are not blocked.
[ ] Public blog (/blogs/) and pages (/pages/) content is not blocked.
[ ] Cart, checkout, account, admin, orders paths stay protected.
[ ] Each AI crawler has its own User-agent block (no shared rules).
[ ] noindex pages remain crawlable (so the crawler can read noindex).
[ ] robots.txt is not the only thing protecting private data —
    authentication handles that.
[ ] Sitemap directive points at the real /sitemap.xml URL.
[ ] Tested in /tools/robots-analyzer after deploying.
[ ] Re-checked after any theme update that touches robots.txt.liquid.

Установка в Shopify#

1. В админке Shopify перейдите в Интернет-магазин → Темы → Редактировать код.
2. Под Templates ищите robots.txt.liquid. Если его нет, нажмите «Добавить новый шаблон» → «robots» → «.liquid».
3. Замените содержимое файла на пример выше (отрегулированный под реальный URL магазина и любые кастомные пути).
4. Сохраните шаблон.
5. Проверьте на https://your-store.myshopify.com/robots.txt, что новый контент подаётся (кэш браузера + edge-кэш Shopify могут занять несколько минут для очистки).
6. Вставьте URL robots.txt в Анализатор Robots и подтвердите, что GPTBot, OAI-SearchBot, ChatGPT-User и PerplexityBot все показаны как «allowed» для /products/ и /collections/.

Готово. AI-краулеры подхватят обновлённый robots.txt при следующем посещении (обычно в течение 24 часов). Сочетайте это руководство с шаблоном fashion llms.txt (или сестринским beauty/electronics), чтобы когда краулеры доберутся до вашего магазина, они нашли карту контента, заслуживающую прочтения.