robots.txt в Shopify для AI-краулеров: практический чек-лист
Настройте robots.txt в Shopify, чтобы пускать нужные AI-краулеры (GPTBot, ClaudeBot, PerplexityBot) и защищать страницы оформления заказа.
robots.txt в Shopify по умолчанию содержит разумные настройки, но эти настройки были написаны до эры AI-краулеров. Если вы хотите, чтобы GPTBot, ClaudeBot и PerplexityBot индексировали страницы товаров — и при этом не пускать спам-ботов — настройте файл вручную.
Что настраивать
В Online Store → Themes → Edit code → robots.txt.liquid управляйте:
- Allow для User-agent: GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot, Amazonbot
- Disallow приватные страницы: /checkout, /account, /cart, /admin, /search?, UTM-параметры
- Разрешите страницы товаров, коллекций, блога и политик
- Sitemap: строка, указывающая на /sitemap.xml
Если используете Shopify Markets или несколько доменов, повторите конфигурацию для каждого домена.
Чек-лист валидации
- Тест с user-agent:
curl -A "GPTBot" https://yourstore.com/robots.txtдолжен вернуть 200 и показать кастомный robots.txt. - Блокировка checkout:
curl -A "GPTBot" https://yourstore.com/checkoutдолжен быть disallowed в robots.txt. - Sitemap доступен:
curl https://yourstore.com/sitemap.xmlвозвращает валидный XML. - Никакого
Disallow: /для легитимных ботов (типичная ошибка — заблокировать весь сайт). - Search Console: Crawl Errors показывает 0 проблем после изменений.
Частые ошибки
- Скопировали правила старого сайта без сверки актуальных путей.
- Случайно заблокировали
/products/, пытаясь закрыть admin. - Забыли Google-Extended (вариант Googlebot для AI training).
- Не обновили после смены темы — robots.txt.liquid может быть перезаписан.
- Полагаются только на robots.txt для приватности — у checkout должна быть настоящая защита, а не только Disallow.
Разница robots.txt vs llms.txt
- robots.txt: куда краулерам можно ходить.
- llms.txt: какие URL вы хотите, чтобы LLM приоритизировал для понимания.
Они работают вместе. robots.txt — ворота, llms.txt — кураторская карта.
Следующие шаги
После чистого robots.txt сгенерируйте и опубликуйте llms.txt со ссылками на главные коллекции, FAQ, политики и гиды по покупке. Реаудит ежемесячно, особенно при смене темы, установке приложений или реструктуризации URL.
Related Articles
Shopify's Own Data Says AI Shoppers Convert 50% Higher. Here's How to Make Sure AI Can Actually Find Your Store
Shopify's Q1 2026 data shows AI-referred shoppers convert nearly 50% higher and spend 14% more. But AI only recommends stores it can crawl, read, and trust. Here is the free GEO self-check every Shopify store should run first.
Alex The Rise of AI Crawlers: A Guide for Website and Shopify Store Owners
As artificial intelligence reshapes how we find and consume information, a new class of web crawlers has emerged: AI crawlers. These intelligent agents are the data-gathering arms of AI models like ChatGPT, Perplexity, and Google's Gemini. Understanding how they work, how they differ from traditional crawlers like Googlebot, and how to optimize your site for them is becoming critical for digital visibility and success.
Vincent Google Says GEO Is Still SEO. What Shopify Stores Should Actually Fix for AI Search
Google's latest AI Search guidance says GEO and AEO are still part of SEO. Here is the practical Shopify checklist: crawlability, schema, Merchant Center feeds, buyer-question content, llms.txt, reviews, and AI traffic measurement.
Alex