Shopify の GPTBot robots.txt:実践例とチェック
GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot 向けのコピーしてすぐ使える Shopify robots.txt 例 —— どの Shopify パスをクロール可能に保つべきか、どれを常にブロックすべきかのチェックリスト付き。
robots.txt は AI ショッピングエンジンが引用前にあなたの Shopify ストア
を読むことができるかを決めるゲートです。ChatGPT、Perplexity、Gemini は
Shopify 商品に関する商業的クエリに対し、それらのクローラー(GPTBot、
OAI-SearchBot、ChatGPT-User、PerplexityBot)がページコンテンツを実際に
取得した場合にのみ答えます。robots.txt でブロックすればあなたは見えな
くなります —— 他のすべての AI 可視性シグナル(スキーマ、llms.txt、
コンテンツ品質)が無意味になります。
このガイドは AI ショッピング時代用に校正された実践的な Shopify robots.txt 例を提供します:重要な AI クローラー向けに公開ストアコンテ ンツ(商品、コレクション、ブログ、ページ)を許可し、すべきでない checkout / account / admin パスをブロックし、Robots アナライザーで動作 を検証します。
GPTBot アクセスができることとできないこと
| できる | できない |
|---|---|
| 公開商品ページ、コレクション、ブログをクロール | プライベートページの認証をバイパス |
| ChatGPT ショッピング回答用にコンテンツをインデックス | ログインやアプリ権限が必要なコンテンツを読む |
| Product schema、llms.txt、FAQ、ポリシーページを読む | 個別の購入者や彼らのカート内容を識別 |
準拠クローラー上で Disallow ディレクティブを尊重 | プライバシーを強制 —— 敵対的スクレーパーは robots.txt を無視 |
クロール可能ページ上の noindex メタディレクティブを尊重 | 適切な Shopify アクセス制御を代替 |
具体的に:GPTBot を許可することは ChatGPT Shopping 可視性に必要ですが、 十分ではありません。クローラーがページに到達することは床。その上の可視 性はコンテンツ品質 + 構造化データでゲートされます。
クロール可能のままにすべき Shopify パス
| パス | 理由 |
|---|---|
/products/ | AI ショッピングクエリで最も引用される URL クラス |
/collections/ | カテゴリレベルのブラウズページ;AI は「ストアが X を売る」回答に使う |
/blogs/ | AI が商品コンテキストを抽出する長文コンテンツ |
/pages/faq | FAQ コンテンツ —— AI は「X は Y をサポートしますか」クエリに引用 |
/pages/shipping | 配送ポリシー —— AI は「X に配送しますか」クエリに引用 |
/pages/returns | 返品ポリシー —— AI は「合わなかったらどうしますか」クエリに引用 |
/pages/size-guide | サイズコンテキスト —— AI は「私のサイズは何ですか」アパレルに引用 |
/pages/ingredients | ビューティー成分ガイド —— AI は互換性クエリに引用 |
/pages/warranty | エレクトロニクス保証 —— AI は「保証は何ですか」クエリに引用 |
/llms.txt | コンパクトなコンテンツマップ —— AI は各クロールで読む |
/sitemap.xml | URL 発見 —— AI が新商品ページを見つけるために使用 |
保護されたままにすべき Shopify パス
| パス | 理由 |
|---|---|
/cart | パーソナライズされた状態 —— クロールに意味がない |
/checkout | 支払いフロー —— プライベートでなければならない |
/account | ログイン済み顧客ダッシュボード |
/admin | Shopify admin(認証で既に保護、明示的なほうがいい) |
/orders/ | 顧客ごとの注文履歴 |
/apps/<private> | プライベートデータを露出するサードパーティアプリエンドポイント |
| 内部検索結果ページ | 薄いまたは重複コンテンツ;AI エンジンはクロール過多のサイトを減点 |
| プレビュー / ステージング URL | 公開可視性向けではない |
robots.txt 例
Shopify テーマの robots.txt.liquid(または robots.txt アセット)に
貼り付けてください。公開前に特定のアプリ + テーマに対してレビューを
—— これはスターターベースラインで、一律の答えではありません。
# Shopify AI-crawler robots.txt — starter baseline.
# Review against your theme, apps, privacy needs, and policy before
# publishing to production.
User-agent: GPTBot
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/
User-agent: OAI-SearchBot
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/
User-agent: ChatGPT-User
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/
User-agent: PerplexityBot
Allow: /products/
Allow: /collections/
Allow: /blogs/
Allow: /pages/
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/
User-agent: Googlebot
Allow: /
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /admin
Disallow: /orders/
Sitemap: https://your-store.myshopify.com/sitemap.xml レビューチェックリスト
公開前にこれを通してください。各項目は Shopify ストアが robots.txt を 通じて AI 可視性をリークしたりプライベートデータを露出したりする一般的 な方法に対応します。
Shopify AI-crawler robots.txt review checklist
[ ] Public product pages (/products/) are not blocked.
[ ] Public collection pages (/collections/) are not blocked.
[ ] Public blog (/blogs/) and pages (/pages/) content is not blocked.
[ ] Cart, checkout, account, admin, orders paths stay protected.
[ ] Each AI crawler has its own User-agent block (no shared rules).
[ ] noindex pages remain crawlable (so the crawler can read noindex).
[ ] robots.txt is not the only thing protecting private data —
authentication handles that.
[ ] Sitemap directive points at the real /sitemap.xml URL.
[ ] Tested in /tools/robots-analyzer after deploying.
[ ] Re-checked after any theme update that touches robots.txt.liquid. Shopify にインストール
- Shopify 管理画面で オンラインストア → テーマ → コード編集 に 移動。
- テンプレートの下で
robots.txt.liquidを探す。なければ「新しい テンプレートを追加」→「robots」→「.liquid」をクリック。 - ファイル内容を上の例に置き換え(実際のストア URL とカスタムパスに 調整)。
- テンプレートを保存。
https://your-store.myshopify.com/robots.txtで新しいコンテンツが 提供されていることを確認(ブラウザキャッシュ + Shopify エッジ キャッシュが消えるまで数分かかることがある)。- robots.txt URL を Robots アナライザー
に貼り付け、GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot
すべてが
/products/と/collections/で「allowed」と表示される ことを確認。
完了です。AI クローラーは次回の訪問時(通常 24 時間以内)に更新された robots.txt を取得します。このガイドを ファッション llms.txt テンプ レート(または ビューティー/エレクトロニクス兄弟)とペアリングして、クローラーがあなた のストアに到達したときに読む価値のあるコンテンツマップを見つけられる ようにしてください。
検証チェックリスト
公開商品ページがブロックされていない
GPTBot、OAI-SearchBot、ChatGPT-User、PerplexityBot すべてが `Allow: /products/` を取得する(または /products/ をカバーする明示的な Disallow がない)。
公開コレクションページがブロックされていない
同じクローラーが `/collections/` に到達できる。Shopify コレクションページはショッピングクエリで最も引用される URL クラス;ブロックするのは AI 可視性で最大の自損ダメージ。
公開ブログとガイドコンテンツがブロックされていない
同じクローラーが `/blogs/` と `/pages/` に到達できる(Shopify はここに FAQ、サイズガイド、成分ページ、ポリシーページを置く)。AI ショッピング回答はブログとガイドコンテンツを大量に引用する。
カート、チェックアウト、アカウント、admin パスが保護されている
各 AI クローラーブロックに明示的な `Disallow: /cart`、`Disallow: /checkout`、`Disallow: /account`、`Disallow: /admin` がある。これらのパスはクロール時にパーソナライズされた状態をリークし、AI ショッピング回答に属さない。
robots.txt がプライバシーやセキュリティ機構として使われていない
機密データ(顧客情報、注文詳細、プライベートアプリデータ)は認証で保護され、`Disallow` ではない。robots.txt はクローラーへのヒントで、セキュリティ境界ではない。
noindex ページがクロール可能のまま
ページを検索から除外すべき場合、クローラーが `<meta name="robots" content="noindex">` ディレクティブを読めるようクロール可能のまま(`Disallow` なし)にする必要がある。noindex ページを Disallow すると検証不可能になり、Google が依然としてインデックスする可能性がある。
GPTBot と OAI-SearchBot は別々のルールブロックで扱う
単一の `User-agent: GPTBot,OAI-SearchBot` 行を共有しないこと。両者は異なるポリシー意味(訓練 vs 検索時フェッチ)を持ち、マーチャントはクローラーごとに異なるルールを欲するかもしれない。
変更後に Robots アナライザーでテスト
更新した robots.txt を Shopify テーマにデプロイした後、URL を /tools/robots-analyzer に貼り付けて、各 AI クローラーが期待されるアクセス状態を示すことを確認する。
Robots アナライザーを実行
下記の Shopify AI クローラー例 robots.txt が事前入力済み。実際の Shopify robots.txt を貼り付けて比較するか、事前入力で推奨ベースラインをあなたのストアに対してテスト。
よくある質問
GPTBot を許可すれば ChatGPT Shopping の可視性が保証されますか?
いいえ。クローラーアクセスは床であって天井ではありません。GPTBot があなたの商品ページに到達することは OpenAI モデルにインデックスされるために必要ですが、ChatGPT Shopping での可視性は有用な商品コンテキスト(Product schema、llms.txt、正確な記述、実際のレビュー)があることにも依存します。GPTBot を許可し、それから見える内容を監査する —— それが完全な仕事です。
GPTBot と OAI-SearchBot は同じルールブロックを使うべきですか?
必ずしもではありません。両者は異なるポリシー意味を持ちます:GPTBot は OpenAI の訓練クローラー(そのアクセスは将来の GPT モデルがコンテンツで訓練されるかに影響)、OAI-SearchBot は検索時フェッチャー(そのアクセスはリアルタイム ChatGPT/Bing 検索回答に影響)。あるマーチャントは検索時アクセスを許可するが訓練はブロックしたいでしょう。別々のポリシー選択として、別々の `User-agent:` ブロックで扱ってください。
robots.txt は Shopify のプライベート顧客データを保護できますか?
いいえ。robots.txt はクローラーへの指示で、セキュリティ機構ではありません。準拠クローラー(GPTBot、Googlebot 等)は `Disallow` を尊重しますが、敵対的スクレーパーはまったく無視します。プライベート顧客データ、注文詳細、アプリ特定エンドポイントには Shopify 内蔵の認証 + アクセス制御を使ってください。robots.txt は 1 層;認証が実際の防衛線です。
noindex ページは robots.txt で disallow すべきですか?
いいえ —— これは最も一般的な robots.txt の間違いです。noindex ページを `Disallow:` すると、クローラーは `<meta name="robots" content="noindex">` タグを読むことができず、ページはなおインデックスされる可能性があります(Google は時に外部リンクから存在を推測しクロールせず URL をインデックスします)。noindex ページはクロール可能のままにしてください;クローラーから完全に見えないべきパス(cart、checkout、account、admin)のみブロックします。
関連リソース
ファッション系 Shopify llms.txt テンプレート
姉妹リソース —— robots.txt と llms.txt は連携する。robots.txt でクローラーを許可し、それから llms.txt を公開して何を読むか伝える。
Shopify アパレル向け Product Schema 例
GPTBot が商品ページに到達できるようになったら(このガイド)、JSON-LD スキーマが AI ショッピングエンジンが商品を引用するために実際にパースする内容。
Robots.txt アナライザー
robots.txt URL またはコンテンツを貼り付け、各 AI クローラーが意図したアクセス状態を持つことを検証 —— 変更デプロイの前後で。
Shopify AI Visibility Optimizer
AI 可視性の完全スタック —— クローラーポリシーはスキーマ、コンテンツマップ、引用モニタリングと並ぶ 1 層。
llms.txt for Shopify 完全ガイド
robots.txt が AI クローラーにコンテンツへの到達を許可した後、llms.txt がストアを理解するために読むコンパクトなナビゲーションマップ。
AI クローラー User-Agent リスト
GPTBot 用に robots.txt を修正した後、これは他のすべての AI クローラーの完全なベンダー出典付きリファレンスです — 何を許可し、何をブロックし、どれが robots.txt を無視するか。