回答用クローラーを最初に表示
これらのクローラーは質問への回答や検索インデックスの構築のためにページを取得し、あなたのサイトを引用します。ブロックすると、その回答にサイトが表示されなくなります。
無料ツール
robots.txtでアクセスを許可しているAIクローラーを確認
ドメインを入力してください。robots.txtを読み取り、各AIクローラー固有のトークンと照合して、許可されているクローラー、ブロックされているクローラー、その判定を決めたルールを表示します。
- ドメインを入力
- robots.txtを読み取り
- クローラーごとに照合
- 許可またはブロック
すべてのAIクローラーを役割別に分類
学習用クローラーは別枠で表示
これらのクローラーはモデルの学習用にテキストを収集し、訪問者を送ることはありません。独自のトークンを使用するため、個別に対応を決めることができます。
すべての判定の根拠となるルール
各結果には判定を決めたファイル内の行が示されます。読み取れないrobots.txtは「未測定」と表示され、許可として扱われることはありません。
仕組み
ドメインから/robots.txtを1回取得し、クローラー自身と同じ方法で、そのグループを各クローラーのユーザーエージェントトークンに適用します。エラーになるファイルや応答がないファイルは「未測定」として報告されます。
よくある質問
robots.txtチェックではどのAIクローラーをテストしますか。
当社が自社サイト用に管理しているリストに含まれるすべてのAIクローラー（OpenAI、Anthropic、Google、Meta、Perplexity、Apple、Microsoftなど）をテストします。robots.txtを各クローラー固有のユーザーエージェントトークンと照合し、判定を決めたルールを判定結果の横に表示します。
回答用クローラーと学習用クローラーの違いは何ですか？
回答用クローラーは、誰かが今尋ねている質問に答えるため、または検索インデックスを構築するためにページを取得し、引用元としてリンクします。学習用クローラーはモデルの学習用にテキストを収集し、訪問者を送ることはありません。両者は異なるトークンを使用するため（OAI-SearchBotとGPTBotはどちらもOpenAIのものです）、サイトは一方を受け入れ、もう一方を拒否できます。
クローラーが「未測定」と表示されるのはなぜですか？
robots.txtを読み取れなかったためです。サーバーでエラーが発生したか、応答がありませんでした。到達できないrobots.txtに遭遇したクローラーはアクセスを拒否されているとみなすべきであり、当社は確認できなかったファイルを許可として報告することはありません。
AI学習用クローラーはブロックすべきですか？
それはビジネス上の判断であり、robots.txtを使えばクローラーごとに判断できます。ただし、回答用クローラーをブロックすると、そのクローラーが提供する回答にサイトが表示されなくなるため、まずそのグループを確認してください。