robots.txt в Shopify для AI-краулеров: практический чек-лист
Настройте robots.txt в Shopify, чтобы пускать нужные AI-краулеры (GPTBot, ClaudeBot, PerplexityBot) и защищать страницы оформления заказа.
robots.txt в Shopify по умолчанию содержит разумные настройки, но эти настройки были написаны до эры AI-краулеров. Если вы хотите, чтобы GPTBot, ClaudeBot и PerplexityBot индексировали страницы товаров — и при этом не пускать спам-ботов — настройте файл вручную.
Что настраивать
В Online Store → Themes → Edit code → robots.txt.liquid управляйте:
- Allow для User-agent: GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot, Amazonbot
- Disallow приватные страницы: /checkout, /account, /cart, /admin, /search?, UTM-параметры
- Разрешите страницы товаров, коллекций, блога и политик
- Sitemap: строка, указывающая на /sitemap.xml
Если используете Shopify Markets или несколько доменов, повторите конфигурацию для каждого домена.
Чек-лист валидации
- Тест с user-agent:
curl -A "GPTBot" https://yourstore.com/robots.txtдолжен вернуть 200 и показать кастомный robots.txt. - Блокировка checkout:
curl -A "GPTBot" https://yourstore.com/checkoutдолжен быть disallowed в robots.txt. - Sitemap доступен:
curl https://yourstore.com/sitemap.xmlвозвращает валидный XML. - Никакого
Disallow: /для легитимных ботов (типичная ошибка — заблокировать весь сайт). - Search Console: Crawl Errors показывает 0 проблем после изменений.
Частые ошибки
- Скопировали правила старого сайта без сверки актуальных путей.
- Случайно заблокировали
/products/, пытаясь закрыть admin. - Забыли Google-Extended (вариант Googlebot для AI training).
- Не обновили после смены темы — robots.txt.liquid может быть перезаписан.
- Полагаются только на robots.txt для приватности — у checkout должна быть настоящая защита, а не только Disallow.
Разница robots.txt vs llms.txt
- robots.txt: куда краулерам можно ходить.
- llms.txt: какие URL вы хотите, чтобы LLM приоритизировал для понимания.
Они работают вместе. robots.txt — ворота, llms.txt — кураторская карта.
Следующие шаги
После чистого robots.txt сгенерируйте и опубликуйте llms.txt со ссылками на главные коллекции, FAQ, политики и гиды по покупке. Реаудит ежемесячно, особенно при смене темы, установке приложений или реструктуризации URL.
Related Articles
The Rise of AI Crawlers: A Guide for Website and Shopify Store Owners
As artificial intelligence reshapes how we find and consume information, a new class of web crawlers has emerged: AI crawlers. These intelligent agents are the data-gathering arms of AI models like ChatGPT, Perplexity, and Google's Gemini. Understanding how they work, how they differ from traditional crawlers like Googlebot, and how to optimize your site for them is becoming critical for digital visibility and success.
Vincent Google Says GEO Is Still SEO. What Shopify Stores Should Actually Fix for AI Search
Google's latest AI Search guidance says GEO and AEO are still part of SEO. Here is the practical Shopify checklist: crawlability, schema, Merchant Center feeds, buyer-question content, llms.txt, reviews, and AI traffic measurement.
Alex How to Measure ChatGPT & AI Traffic to Your Shopify Store
AI optimization is worthless if you can't prove it works. A step-by-step GA4 and Shopify playbook to track, attribute, and measure ChatGPT and AI traffic.
Alex