robots.txt di Shopify per i crawler AI: checklist pratica
Configura il robots.txt di Shopify per consentire i crawler AI giusti (GPTBot, ClaudeBot, PerplexityBot) proteggendo checkout e account.
Il robots.txt di Shopify eredita default ragionevoli, ma quei default sono stati scritti prima dell’era dei crawler AI. Se vuoi che GPTBot, ClaudeBot e PerplexityBot indicizzino le tue pagine prodotto — e tenere fuori gli spam crawler — devi configurare il file a mano.
Cosa configurare
In Online Store → Themes → Edit code → robots.txt.liquid controlla:
- Allow per User-agent: GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot, Amazonbot
- Disallow pagine private: /checkout, /account, /cart, /admin, /search?, parametri UTM
- Permetti pagine prodotto, collezione, blog e policy
- Sitemap: una riga che punta a /sitemap.xml
Se usi Shopify Markets o domini internazionali, replica la configurazione per dominio.
Checklist di validazione
- Test con user-agent:
curl -A "GPTBot" https://yourstore.com/robots.txtdeve tornare 200 e mostrare il robots.txt personalizzato. - Blocco checkout:
curl -A "GPTBot" https://yourstore.com/checkoutdeve essere disallow. - Sitemap accessibile:
curl https://yourstore.com/sitemap.xmlritorna XML valido. - Nessun
Disallow: /per bot legittimi (errore comune: bloccare tutto). - Search Console: Crawl Errors mostra 0 problemi dopo le modifiche.
Errori frequenti
- Copiare regole dal vecchio sito senza adeguare i path attuali.
- Bloccare
/products/per sbaglio mentre si tenta di bloccare admin. - Dimenticare Google-Extended (variante AI training di Googlebot).
- Non aggiornare al cambio tema — robots.txt.liquid può essere sovrascritto.
- Affidarsi solo al robots.txt per la privacy — il checkout deve avere protezione reale, non solo Disallow.
Differenza robots.txt vs llms.txt
- robots.txt: dove i crawler possono andare.
- llms.txt: quali URL vuoi che gli LLM diano priorità per la comprensione.
I due lavorano insieme. robots.txt è il cancello, llms.txt è la mappa curata.
Prossimi passi
Dopo aver ripulito il robots.txt, genera e pubblica llms.txt che punta alle collezioni principali, FAQ, policy e guide all’acquisto. Riaudit ogni mese quando cambi tema, installi app o ristrutturi URL.
Related Articles
Shopify's Own Data Says AI Shoppers Convert 50% Higher. Here's How to Make Sure AI Can Actually Find Your Store
Shopify's Q1 2026 data shows AI-referred shoppers convert nearly 50% higher and spend 14% more. But AI only recommends stores it can crawl, read, and trust. Here is the free GEO self-check every Shopify store should run first.
Alex The Rise of AI Crawlers: A Guide for Website and Shopify Store Owners
As artificial intelligence reshapes how we find and consume information, a new class of web crawlers has emerged: AI crawlers. These intelligent agents are the data-gathering arms of AI models like ChatGPT, Perplexity, and Google's Gemini. Understanding how they work, how they differ from traditional crawlers like Googlebot, and how to optimize your site for them is becoming critical for digital visibility and success.
Vincent Google Says GEO Is Still SEO. What Shopify Stores Should Actually Fix for AI Search
Google's latest AI Search guidance says GEO and AEO are still part of SEO. Here is the practical Shopify checklist: crawlability, schema, Merchant Center feeds, buyer-question content, llms.txt, reviews, and AI traffic measurement.
Alex