robots.txt do Shopify para crawlers de IA: checklist prático
Configure o robots.txt do Shopify para permitir os crawlers de IA certos (GPTBot, ClaudeBot, PerplexityBot) sem expor páginas de checkout.
O robots.txt do Shopify herda padrões razoáveis, mas esses padrões foram escritos antes da era dos crawlers de IA. Se você quer que GPTBot, ClaudeBot e PerplexityBot indexem suas páginas de produto — e deixar os spam crawlers de fora — precisa configurar o arquivo manualmente.
O que configurar
Em Online Store → Themes → Edit code → robots.txt.liquid, controle:
- Allow para User-agent: GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot, Amazonbot
- Disallow páginas privadas: /checkout, /account, /cart, /admin, /search?, parâmetros UTM canônicos
- Permitir páginas de produto, coleção, blog e políticas
- Sitemap: linha apontando para /sitemap.xml
Se você usa Shopify Markets ou domínios internacionais, replique a configuração por domínio.
Checklist de validação
- Teste com user-agent:
curl -A "GPTBot" https://yourstore.com/robots.txtdeve retornar 200 e mostrar o robots.txt customizado. - Bloqueio de checkout:
curl -A "GPTBot" https://yourstore.com/checkoutdeve ser disallowed (ou retornar disallow no robots.txt). - Sitemap acessível:
curl https://yourstore.com/sitemap.xmlretorna XML válido. - Sem Disallow: / para nenhum bot legítimo (erro comum: bloquear tudo por engano).
- Search Console: Crawl Errors mostra 0 issues após mudanças.
Erros frequentes
- Copiar regras do site antigo sem ajustar paths atuais.
- Bloquear
/products/por engano enquanto tenta bloquear admin. - Esquecer Google-Extended (versão dedicada para AI training do Googlebot).
- Não atualizar quando o tema muda — robots.txt.liquid pode ser sobrescrito.
- Confiar só no robots.txt para privacidade — checkout deve ter proteção real, não apenas Disallow.
Diferença robots.txt vs llms.txt
- robots.txt: o que crawlers podem visitar.
- llms.txt: quais URLs você quer que LLMs priorizem para entendimento.
Os dois trabalham juntos. robots.txt é o gate, llms.txt é o mapa curado.
Próximos passos
Após robots.txt limpo, gere e publique llms.txt apontando para coleções principais, FAQ, políticas e guias de compra. Reaudite mensalmente quando você troca tema, instala apps ou muda estrutura de URLs.
Related Articles
Shopify's Own Data Says AI Shoppers Convert 50% Higher. Here's How to Make Sure AI Can Actually Find Your Store
Shopify's Q1 2026 data shows AI-referred shoppers convert nearly 50% higher and spend 14% more. But AI only recommends stores it can crawl, read, and trust. Here is the free GEO self-check every Shopify store should run first.
Alex The Rise of AI Crawlers: A Guide for Website and Shopify Store Owners
As artificial intelligence reshapes how we find and consume information, a new class of web crawlers has emerged: AI crawlers. These intelligent agents are the data-gathering arms of AI models like ChatGPT, Perplexity, and Google's Gemini. Understanding how they work, how they differ from traditional crawlers like Googlebot, and how to optimize your site for them is becoming critical for digital visibility and success.
Vincent Google Says GEO Is Still SEO. What Shopify Stores Should Actually Fix for AI Search
Google's latest AI Search guidance says GEO and AEO are still part of SEO. Here is the practical Shopify checklist: crawlability, schema, Merchant Center feeds, buyer-question content, llms.txt, reviews, and AI traffic measurement.
Alex