メインコンテンツへスキップ
🇯🇵

Shopify の GPTBot robots.txt:実践例とチェック

GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot 向けのコピーしてすぐ使える Shopify robots.txt 例 —— どの Shopify パスをクロール可能に保つべきか、どれを常にブロックすべきかのチェックリスト付き。

7 min read

robots.txt は AI ショッピングエンジンが引用前にあなたの Shopify ストア を読むことができるかを決めるゲートです。ChatGPT、Perplexity、Gemini は Shopify 商品に関する商業的クエリに対し、それらのクローラー(GPTBot、 OAI-SearchBot、ChatGPT-User、PerplexityBot)がページコンテンツを実際に 取得した場合にのみ答えます。robots.txt でブロックすればあなたは見えな くなります —— 他のすべての AI 可視性シグナル(スキーマ、llms.txt、 コンテンツ品質)が無意味になります。

このガイドは AI ショッピング時代用に校正された実践的な Shopify robots.txt 例を提供します:重要な AI クローラー向けに公開ストアコンテ ンツ(商品、コレクション、ブログ、ページ)を許可し、すべきでない checkout / account / admin パスをブロックし、Robots アナライザーで動作 を検証します。

GPTBot アクセスができることとできないこと

できるできない
公開商品ページ、コレクション、ブログをクロールプライベートページの認証をバイパス
ChatGPT ショッピング回答用にコンテンツをインデックスログインやアプリ権限が必要なコンテンツを読む
Product schema、llms.txt、FAQ、ポリシーページを読む個別の購入者や彼らのカート内容を識別
準拠クローラー上で Disallow ディレクティブを尊重プライバシーを強制 —— 敵対的スクレーパーは robots.txt を無視
クロール可能ページ上の noindex メタディレクティブを尊重適切な Shopify アクセス制御を代替

具体的に:GPTBot を許可することは ChatGPT Shopping 可視性に必要ですが、 十分ではありません。クローラーがページに到達することは床。その上の可視 性はコンテンツ品質 + 構造化データでゲートされます。

クロール可能のままにすべき Shopify パス

パス理由
/products/AI ショッピングクエリで最も引用される URL クラス
/collections/カテゴリレベルのブラウズページ;AI は「ストアが X を売る」回答に使う
/blogs/AI が商品コンテキストを抽出する長文コンテンツ
/pages/faqFAQ コンテンツ —— AI は「X は Y をサポートしますか」クエリに引用
/pages/shipping配送ポリシー —— AI は「X に配送しますか」クエリに引用
/pages/returns返品ポリシー —— AI は「合わなかったらどうしますか」クエリに引用
/pages/size-guideサイズコンテキスト —— AI は「私のサイズは何ですか」アパレルに引用
/pages/ingredientsビューティー成分ガイド —— AI は互換性クエリに引用
/pages/warrantyエレクトロニクス保証 —— AI は「保証は何ですか」クエリに引用
/llms.txtコンパクトなコンテンツマップ —— AI は各クロールで読む
/sitemap.xmlURL 発見 —— AI が新商品ページを見つけるために使用

保護されたままにすべき Shopify パス

パス理由
/cartパーソナライズされた状態 —— クロールに意味がない
/checkout支払いフロー —— プライベートでなければならない
/accountログイン済み顧客ダッシュボード
/adminShopify admin(認証で既に保護、明示的なほうがいい)
/orders/顧客ごとの注文履歴
/apps/<private>プライベートデータを露出するサードパーティアプリエンドポイント
内部検索結果ページ薄いまたは重複コンテンツ;AI エンジンはクロール過多のサイトを減点
プレビュー / ステージング URL公開可視性向けではない

robots.txt 例

Shopify テーマの robots.txt.liquid(または robots.txt アセット)に 貼り付けてください。公開前に特定のアプリ + テーマに対してレビューを —— これはスターターベースラインで、一律の答えではありません。

Shopify AI クローラー robots.txt 例 txt
# Shopify AI-crawler robots.txt — starter baseline.
# Review against your theme, apps, privacy needs, and policy before
# publishing to production.

User-agent: GPTBot
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/

User-agent: OAI-SearchBot
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/

User-agent: ChatGPT-User
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/

User-agent: PerplexityBot
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/

User-agent: Googlebot
Allow: /
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/

Sitemap: https://your-store.myshopify.com/sitemap.xml

レビューチェックリスト

公開前にこれを通してください。各項目は Shopify ストアが robots.txt を 通じて AI 可視性をリークしたりプライベートデータを露出したりする一般的 な方法に対応します。

Shopify AI クローラー robots.txt レビューチェックリスト txt
Shopify AI-crawler robots.txt review checklist

[ ] Public product pages (/products/) are not blocked.
[ ] Public collection pages (/collections/) are not blocked.
[ ] Public blog (/blogs/) and pages (/pages/) content is not blocked.
[ ] Cart, checkout, account, admin, orders paths stay protected.
[ ] Each AI crawler has its own User-agent block (no shared rules).
[ ] noindex pages remain crawlable (so the crawler can read noindex).
[ ] robots.txt is not the only thing protecting private data —
    authentication handles that.
[ ] Sitemap directive points at the real /sitemap.xml URL.
[ ] Tested in /tools/robots-analyzer after deploying.
[ ] Re-checked after any theme update that touches robots.txt.liquid.

Shopify にインストール

  1. Shopify 管理画面で オンラインストア → テーマ → コード編集 に 移動。
  2. テンプレートの下で robots.txt.liquid を探す。なければ「新しい テンプレートを追加」→「robots」→「.liquid」をクリック。
  3. ファイル内容を上の例に置き換え(実際のストア URL とカスタムパスに 調整)。
  4. テンプレートを保存。
  5. https://your-store.myshopify.com/robots.txt で新しいコンテンツが 提供されていることを確認(ブラウザキャッシュ + Shopify エッジ キャッシュが消えるまで数分かかることがある)。
  6. robots.txt URL を Robots アナライザー に貼り付け、GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot すべてが /products//collections/ で「allowed」と表示される ことを確認。

完了です。AI クローラーは次回の訪問時(通常 24 時間以内)に更新された robots.txt を取得します。このガイドを ファッション llms.txt テンプ レート(または ビューティー/エレクトロニクス兄弟)とペアリングして、クローラーがあなた のストアに到達したときに読む価値のあるコンテンツマップを見つけられる ようにしてください。

検証チェックリスト

  • 公開商品ページがブロックされていない

    GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot すべてが `Allow: /products/` を取得する(または /products/ をカバーする明示的な Disallow がない)。

  • 公開コレクションページがブロックされていない

    同じクローラーが `/collections/` に到達できる。Shopify コレクションページはショッピングクエリで最も引用される URL クラス;ブロックするのは AI 可視性で最大の自損ダメージ。

  • 公開ブログとガイドコンテンツがブロックされていない

    同じクローラーが `/blogs/` と `/pages/` に到達できる(Shopify はここに FAQ、サイズガイド、成分ページ、ポリシーページを置く)。AI ショッピング回答はブログとガイドコンテンツを大量に引用する。

  • カート、チェックアウト、アカウント、admin パスが保護されている

    各 AI クローラーブロックに明示的な `Disallow: /cart`、`Disallow: /checkout`、`Disallow: /account`、`Disallow: /admin` がある。これらのパスはクロール時にパーソナライズされた状態をリークし、AI ショッピング回答に属さない。

  • robots.txt がプライバシーやセキュリティ機構として使われていない

    機密データ(顧客情報、注文詳細、プライベートアプリデータ)は認証で保護され、`Disallow` ではない。robots.txt はクローラーへのヒントで、セキュリティ境界ではない。

  • noindex ページがクロール可能のまま

    ページを検索から除外すべき場合、クローラーが `<meta name="robots" content="noindex">` ディレクティブを読めるようクロール可能のまま(`Disallow` なし)にする必要がある。noindex ページを Disallow すると検証不可能になり、Google が依然としてインデックスする可能性がある。

  • GPTBot と OAI-SearchBot は別々のルールブロックで扱う

    単一の `User-agent: GPTBot,OAI-SearchBot` 行を共有しないこと。両者は異なるポリシー意味(訓練 vs 検索時フェッチ)を持ち、マーチャントはクローラーごとに異なるルールを欲するかもしれない。

  • 変更後に Robots アナライザーでテスト

    更新した robots.txt を Shopify テーマにデプロイした後、URL を /tools/robots-analyzer に貼り付けて、各 AI クローラーが期待されるアクセス状態を示すことを確認する。

Robots アナライザーを実行

下記の Shopify AI クローラー例 robots.txt が事前入力済み。実際の Shopify robots.txt を貼り付けて比較するか、事前入力で推奨ベースラインをあなたのストアに対してテスト。

よくある質問

GPTBot を許可すれば ChatGPT Shopping の可視性が保証されますか?

いいえ。クローラーアクセスは床であって天井ではありません。GPTBot があなたの商品ページに到達することは OpenAI モデルにインデックスされるために必要ですが、ChatGPT Shopping での可視性は有用な商品コンテキスト(Product schema、llms.txt、正確な記述、実際のレビュー)があることにも依存します。GPTBot を許可し、それから見える内容を監査する —— それが完全な仕事です。

GPTBot と OAI-SearchBot は同じルールブロックを使うべきですか?

必ずしもではありません。両者は異なるポリシー意味を持ちます:GPTBot は OpenAI の訓練クローラー(そのアクセスは将来の GPT モデルがコンテンツで訓練されるかに影響)、OAI-SearchBot は検索時フェッチャー(そのアクセスはリアルタイム ChatGPT/Bing 検索回答に影響)。あるマーチャントは検索時アクセスを許可するが訓練はブロックしたいでしょう。別々のポリシー選択として、別々の `User-agent:` ブロックで扱ってください。

robots.txt は Shopify のプライベート顧客データを保護できますか?

いいえ。robots.txt はクローラーへの指示で、セキュリティ機構ではありません。準拠クローラー(GPTBot、Googlebot 等)は `Disallow` を尊重しますが、敵対的スクレーパーはまったく無視します。プライベート顧客データ、注文詳細、アプリ特定エンドポイントには Shopify 内蔵の認証 + アクセス制御を使ってください。robots.txt は 1 層;認証が実際の防衛線です。

noindex ページは robots.txt で disallow すべきですか?

いいえ —— これは最も一般的な robots.txt の間違いです。noindex ページを `Disallow:` すると、クローラーは `<meta name="robots" content="noindex">` タグを読むことができず、ページはなおインデックスされる可能性があります(Google は時に外部リンクから存在を推測しクロールせず URL をインデックスします)。noindex ページはクロール可能のままにしてください;クローラーから完全に見えないべきパス(cart、checkout、account、admin)のみブロックします。

関連リソース