Shopify robots.txt dla crawlerów AI: praktyczna lista kontrolna
Skonfiguruj plik robots.txt w Shopify, aby przepuszczać właściwe crawlery AI (GPTBot, ClaudeBot, PerplexityBot) chroniąc strony checkout.
robots.txt w Shopify dziedziczy rozsądne wartości domyślne, ale te wartości zostały napisane przed erą crawlerów AI. Jeśli chcesz, aby GPTBot, ClaudeBot i PerplexityBot indeksowały Twoje strony produktów — i trzymały spam-crawlery z dala — musisz skonfigurować plik ręcznie.
Co skonfigurować
W Online Store → Themes → Edit code → robots.txt.liquid kontroluj:
- Allow dla User-agent: GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot, Amazonbot
- Disallow prywatne strony: /checkout, /account, /cart, /admin, /search?, parametry UTM
- Pozwól na strony produktów, kolekcji, bloga i polityk
- Sitemap: linia wskazująca /sitemap.xml
Jeśli używasz Shopify Markets albo domen międzynarodowych, replikuj konfigurację dla każdej domeny.
Lista walidacji
- Test z user-agent:
curl -A "GPTBot" https://yourstore.com/robots.txtpowinien zwrócić 200 i pokazać niestandardowy robots.txt. - Blokada checkout:
curl -A "GPTBot" https://yourstore.com/checkoutpowinien być disallowed. - Sitemap dostępny:
curl https://yourstore.com/sitemap.xmlzwraca prawidłowy XML. - Brak
Disallow: /dla legalnych botów (klasyczny błąd — przypadkowe zablokowanie całej strony). - Search Console: Crawl Errors pokazuje 0 problemów po zmianach.
Częste błędy
- Skopiowanie reguł ze starej strony bez sprawdzenia aktualnych ścieżek.
- Przypadkowe zablokowanie
/products/przy próbie zablokowania admin. - Pominięcie Google-Extended (wariant AI training Googlebot).
- Brak aktualizacji po zmianie motywu — robots.txt.liquid może zostać nadpisany.
- Poleganie tylko na robots.txt w kwestii prywatności — checkout musi mieć realną ochronę, nie tylko Disallow.
Różnica robots.txt vs llms.txt
- robots.txt: gdzie crawlery mogą iść.
- llms.txt: które URL-e chcesz, aby LLM priorytetyzowały do zrozumienia.
Oba pracują razem. robots.txt to brama, llms.txt to wyselekcjonowana mapa.
Następne kroki
Po czystym robots.txt wygeneruj i opublikuj llms.txt wskazujący na główne kolekcje, FAQ, polityki i przewodniki zakupowe. Audyt co miesiąc szczególnie przy zmianie motywu, instalacji aplikacji lub restrukturyzacji URL.
Related Articles
Shopify's Own Data Says AI Shoppers Convert 50% Higher. Here's How to Make Sure AI Can Actually Find Your Store
Shopify's Q1 2026 data shows AI-referred shoppers convert nearly 50% higher and spend 14% more. But AI only recommends stores it can crawl, read, and trust. Here is the free GEO self-check every Shopify store should run first.
Alex The Rise of AI Crawlers: A Guide for Website and Shopify Store Owners
As artificial intelligence reshapes how we find and consume information, a new class of web crawlers has emerged: AI crawlers. These intelligent agents are the data-gathering arms of AI models like ChatGPT, Perplexity, and Google's Gemini. Understanding how they work, how they differ from traditional crawlers like Googlebot, and how to optimize your site for them is becoming critical for digital visibility and success.
Vincent Google Says GEO Is Still SEO. What Shopify Stores Should Actually Fix for AI Search
Google's latest AI Search guidance says GEO and AEO are still part of SEO. Here is the practical Shopify checklist: crawlability, schema, Merchant Center feeds, buyer-question content, llms.txt, reviews, and AI traffic measurement.
Alex