Shopify robots.txt voor AI-crawlers: praktische checklist
Configureer de robots.txt van Shopify om de juiste AI-crawlers toe te staan (GPTBot, ClaudeBot, PerplexityBot) zonder checkout bloot te leggen.
De robots.txt van Shopify erft redelijke defaults, maar die defaults zijn geschreven vóór het tijdperk van AI-crawlers. Als je wilt dat GPTBot, ClaudeBot en PerplexityBot je productpagina’s indexeren — en spam-crawlers buiten houden — moet je het bestand handmatig configureren.
Wat te configureren
In Online Store → Themes → Edit code → robots.txt.liquid regel je:
- Allow voor User-agent: GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot, Amazonbot
- Disallow privé-pagina’s: /checkout, /account, /cart, /admin, /search?, UTM-parameters
- Sta product-, collectie-, blog- en policy-pagina’s toe
- Sitemap: regel die naar /sitemap.xml wijst
Bij Shopify Markets of internationale domeinen herhaal je de configuratie per domein.
Validatie-checklist
- Test met user-agent:
curl -A "GPTBot" https://yourstore.com/robots.txtmoet 200 teruggeven en de aangepaste robots.txt tonen. - Checkout geblokkeerd:
curl -A "GPTBot" https://yourstore.com/checkoutmoet via robots.txt disallowed zijn. - Sitemap bereikbaar:
curl https://yourstore.com/sitemap.xmllevert geldige XML. - Geen
Disallow: /voor legitieme bots (klassieke fout: alles per ongeluk blokkeren). - Search Console: Crawl Errors toont 0 problemen na wijzigingen.
Veelvoorkomende fouten
- Regels van de oude site kopiëren zonder huidige paths te checken.
- Per ongeluk
/products/blokkeren terwijl je admin wilde blokkeren. - Google-Extended vergeten (AI-training-variant van Googlebot).
- Niet bijwerken bij themewissel — robots.txt.liquid kan overschreven worden.
- Alleen op robots.txt vertrouwen voor privacy — checkout heeft echte beveiliging nodig, niet alleen Disallow.
Verschil robots.txt vs llms.txt
- robots.txt: waar crawlers heen mogen.
- llms.txt: welke URL’s je wilt dat LLMs prioriteren voor begrip.
De twee werken samen. robots.txt is de poort, llms.txt is de gecureerde kaart.
Vervolgstappen
Na een schone robots.txt: genereer en publiceer llms.txt met verwijzingen naar hoofdcollecties, FAQ, policies en koopgidsen. Heraudit maandelijks wanneer je themes wisselt, apps installeert of URL-structuur verandert.
Related Articles
Shopify's Own Data Says AI Shoppers Convert 50% Higher. Here's How to Make Sure AI Can Actually Find Your Store
Shopify's Q1 2026 data shows AI-referred shoppers convert nearly 50% higher and spend 14% more. But AI only recommends stores it can crawl, read, and trust. Here is the free GEO self-check every Shopify store should run first.
Alex The Rise of AI Crawlers: A Guide for Website and Shopify Store Owners
As artificial intelligence reshapes how we find and consume information, a new class of web crawlers has emerged: AI crawlers. These intelligent agents are the data-gathering arms of AI models like ChatGPT, Perplexity, and Google's Gemini. Understanding how they work, how they differ from traditional crawlers like Googlebot, and how to optimize your site for them is becoming critical for digital visibility and success.
Vincent Google Says GEO Is Still SEO. What Shopify Stores Should Actually Fix for AI Search
Google's latest AI Search guidance says GEO and AEO are still part of SEO. Here is the practical Shopify checklist: crawlability, schema, Merchant Center feeds, buyer-question content, llms.txt, reviews, and AI traffic measurement.
Alex