無料Robots.txt作成ツール
Robots.txt作成ツール
無料Robots.txt作成：許可・拒否・AIボット | We.Inc
すべてのクローラーの許可・ブロック、フォルダーの拒否、サイトマップ追加、GPTBotなどAIクローラーの閲覧可否を設定できる無料ツール。
正しいrobots.txtファイルを数分で作成できます。すべてのクローラーに適用する初期ルール、アクセスを拒否するフォルダー、サイトマップ、AIクローラーの閲覧可否を選びます。結果をコピーするか、ファイルとしてダウンロードしてください。
- すべてのクローラーに適用する初期ルールを選びます。通常のサイトはすべて許可、ステージング環境はすべて拒否します。
- アクセスを拒否するフォルダーを1行ずつ追加します。例：/admin/、/cart/。
- 検索エンジンがすべてのページを見つけられるよう、サイトマップのURLを貼り付けます。
- 任意でAI学習用クローラーをブロックします。robots.txtをコピーまたはダウンロードし、ドメインのルートにアップロードします。
- robots.txtはyourdomain.com/robots.txtに置く必要があります。他の場所に置いても無視されます。
- robots.txtでページを拒否してもGoogleの検索結果から削除されません。検索結果に載せない場合は、クロールを許可したうえでnoindexタグを使います。
- CSSやJavaScriptのフォルダーはブロックしないでください。Googleがページを正しく確認できなくなります。
- アップロード後にブラウザーで公開ファイルを開き、確認しましょう。
よくある質問
robots.txtは何をしますか？
適切に動作するクローラーに、サイトのどの部分を取得してよいか伝えます。アクセスを強制的に防ぐものではなく、非公開情報の保護には使えません。悪意のあるボットは無視します。
robots.txtファイルは必要ですか？
必須ではありません。ファイルがない場合、クローラーはすべてのページを取得できると判断します。サイトマップの場所を示したり、カートや管理画面へのアクセスを拒否したりするのに役立ちます。
AIクローラーをブロックすべきですか？
事業上の判断です。GPTBot、ClaudeBot、Google-Extendedなどを拒否すると、学習への利用を避けるよう求められますが、AIアシスタントが事業について知る情報が減る可能性もあります。AIの回答で紹介される可能性を考え、許可する小規模事業者も多くいます。
変更が反映されるまでどれくらいかかりますか？
Googleは通常1日以内にrobots.txtを再取得します。Google Search Consoleのrobots.txtレポートから再取得を依頼できます。
URLがrobots.txtでブロックされているかテストするには？
このページのテスターを使ってください。robots.txtを貼り付け（または作成したものを使用）、アドレスとGooglebotなどのクローラー名を入力すると、「許可」または「拒否」と、判断したルールが表示されます。ブラウザ内でGoogleのマッチングルールを適用しており、公開ファイルは取得しないため、yourdomain.com/robots.txtから現在のバージョンを貼り付けてください。
AllowとDisallowの両方のルールが一致した場合、どちらが優先されますか？
Googleでは、より長いパスのルールが優先されます。より具体的だからです。両方のパスが同じ長さの場合はAllowが優先されます。他のクローラーは競合を別の方法で解決することがあるため、引き分けになる設定に依存しないようにしてください。
robots.txtルールの読み方
- robots.txtは複数のグループで構成されます。各グループはUser-agent行で対象クローラー（または全対象の*）を指定し、その後にURLパス付きのAllowとDisallowを並べます。クローラーは自分を指定する中で最も具体的なグループを使い、同じグループでは一致するパスが最も長いルールが優先されます。
- 「Disallow: /」はすべて拒否します。空の「Disallow:」はすべて許可します。「Disallow: /admin/」は/admin/で始まるURLをすべて拒否します。パスの大文字と小文字は区別されます。
小規模事業サイトに適した初期設定
- すべてを許可し、使用中の管理、カート、購入手続き、アカウント用フォルダーを拒否して、サイトマップを記載します。ほとんどのサイトではこれで十分です。Googleからサンクスページや重複ページを隠すためにrobots.txtを使わないでください。noindexタグが適切です。
- We.Incで公開したサイトにはrobots.txtとサイトマップが自動で用意されます。他社でホスティングするサイトにのみ、このツールをお使いください。
アップロード前にURLをテストする
- robots.txtの小さなミスでサイトの一部を丸ごとブロックしてしまうことがあります。アップロード前に重要なアドレスをテストしてください。トップページ、商品・サービスページ、ブログ記事、そしてブロックしたいページを確認します。各URLをテスターに入力し、対象クローラー（通常はGooglebot）を指定して、結果と判断したルールが期待通りであることを確認してください。
- ワイルドカードは最もミスが起きやすい箇所です。「Disallow: /*?sort=」は?sort=を含むすべてのURLをブロックし、「Disallow: /*.pdf$」は.pdfで終わるURLをブロックしますが/file.pdf?download=1はブロックしません。また、Googlebot-Imageのように個別のグループで指定されたクローラーは*グループを完全に無視するため、全員向けに書いたルールはそのクローラーには適用されません。
無料で始める · クレジットカード不要
製品
ご利用いただける方
機能
リソース
会社情報
サイトマップを見る