AIボット向けrobots.txt：許可すべきもの、ブロックすべきもの

中小企業のサイトに来るAIクローラーと、運営元によるそれぞれの役割、そして必要なら学習を拒否しつつAI検索の回答には残れるrobots.txtのルールを、実践的に解説します。

AI企業は今、いくつもの異なるクローラーを送り込んでおり、それぞれ役割が違います。学習データを集めるもの。回答からリンクされる検索インデックスを作るもの。ユーザーに頼まれて1ページだけ取得するもの。1行ですべてをブロックすると安心に感じますが、実際のお客様を送ってくれるAI検索の回答から、気づかないうちに事業が消えてしまうことがあります。

robots.txtの仕組み

robots.txtは、ドメインのルートに置くプレーンなファイルです。各グループはクローラー名を書いたUser-agentの行で始まり、AllowまたはDisallowのルールが続きます。書式はRFC 9309で標準化されています。これはお願いであって鍵ではありません。信頼できるクローラーは従いますが、非公開のコンテンツを守るものではなく、Googleのドキュメントでも、クロールをブロックしただけではページはインデックスから削除されないと注意しています。

主なAIクローラーと、運営元が説明する役割

  • OAI-SearchBot（OpenAI）：ChatGPTの検索結果にサイトを表示するために使われます。OpenAIのクローラーに関するドキュメントによれば、これをブロックしたサイトはChatGPTの検索回答に表示されませんが、単純なナビゲーション用のリンクとしては表示されることがあります。
  • GPTBot（OpenAI）：OpenAIのモデルの学習に使われる可能性のあるコンテンツを集めます。これをブロックすることが、学習を拒否するための公式な方法で、OAI-SearchBotとは独立しています。
  • ChatGPT-User（OpenAI）：人のリクエストに必要なときにページを取得します。こうしたユーザー起点の訪問には、robots.txtのルールが適用されない場合があるとしています。
  • Google-Extended（Google）：独立したクローラーではなく、プロダクトトークンです。これを拒否すると、将来のGeminiモデルの学習や、他の一部のAIシステムでの根拠付けにあなたのコンテンツを使わないようGoogleに伝えられます。Google検索セントラルによれば、Google検索への掲載や順位には影響せず、AIによる概要はGooglebotと通常のスニペットの設定で管理されます。
  • PerplexityBot（Perplexity）：Perplexityの回答のためにページをインデックスし、ドキュメントによればモデルの学習には使われません。Perplexity-Userはユーザーに代わって取得し、通常はrobots.txtを無視します。
  • Bingbot（Microsoft）：Microsoft Copilotの根拠となるBingに情報を提供します。ブロックすると両方から消えます。
  • ClaudeBotとClaude-SearchBot（Anthropic）：Anthropicは学習用と検索用に別々のエージェントを公表しており、どちらもrobots.txtを守るとしています。
  • ApplebotとApplebot-Extended（Apple）：ApplebotはSpotlight、Siri、Safariの検索機能を支えています。Applebot-Extendedを使えば、検索に影響を与えずに、Appleが基盤モデルの学習にコンテンツを使うことを拒否できます。

地域の事業に合った設定

ほとんどの中小企業は、回答の中で見つけられ、名前を挙げてほしいと考えています。よくあるバランスの取れた設定は、検索クローラーを許可し、学習については別に判断するものです。たとえば、ChatGPT検索とPerplexityには残りつつ、OpenAIとGoogleの学習は拒否するなら次のようになります。

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

学習を拒否するかどうかは経営判断です。学習データに含まれれば、モデルがあなたの名前をよく知るようになるかもしれません。拒否すれば、あなたの文章は将来のモデルの構築に使われません。どちらを選んでもGoogle検索の順位には影響しません。

ボットがブロックされる他の場所

robots.txtだけでなく、CDNとセキュリティの設定も確認しましょう。ホスティングのファイアウォールやボット管理機能の中には、初期設定でAIクローラーをブロックするものがあり、robots.txtで開放していても上書きされます。使っている場合はAIクローラーの設定を探し、許可したい検索エージェントが許可されているか確認しましょう。

ファイルをテストする

ブラウザでyoursite.com/robots.txtを開き、読み込まれるか確認しましょう。Google Search Consoleには、Googleが取得したバージョンとエラーを表示するrobots.txtレポートがあります。Bing Webmaster Toolsにはrobots.txtのテスターがあります。ホスティングを変えたり、セキュリティプラグインを入れたりした後は、もう一度確認しましょう。

適切なボットがあなたのサイトに届くようになったら、次は読む価値のあるページが必要です。そこでSEO God ModeがWe.Incのサイトで役立ちます。あなた自身のサービスから毎週テーマを提案し、あなたが承認する記事を下書きします。

よくある質問

GPTBotをブロックすると、ChatGPT検索から消えますか？

OpenAIによれば消えません。GPTBotは学習用のクローラーで、ChatGPT検索はOAI-SearchBotを使います。片方を許可し、もう片方をブロックしても問題ありません。

Google-ExtendedをブロックするとAIによる概要から消えますか？

いいえ。Googleによれば、Google-ExtendedはGeminiの学習へのコンテンツ利用を管理するもので、Googlebotを使うAIによる概要を含め、Google検索には影響しません。

robots.txtだけでコンテンツを非公開にできますか？

いいえ。行儀の良いクローラーが従うお願いにすぎません。本当に非公開にしたいものにはログインやパスワード保護が必要で、ページを検索結果から外すにはnoindexを使います。

無料で始める · クレジットカード不要

関連: ガイド｜Webマーケティングと集客を学ぶ

製品

ご利用いただける方

機能

リソース

会社情報

サイトマップを見る