Robots d'exploration de réponses, affichés en premier
Ceux-ci récupèrent des pages pour répondre aux questions et créer des index de recherche, et ils vous citent. En bloquer un vous exclut de ses réponses.
Outil gratuit
Découvrez quels robots d'exploration d'IA votre fichier robots.txt autorise
Saisissez votre domaine. Nous lisons votre fichier robots.txt, le comparons au jeton de chaque robot d'exploration d'IA et affichons ceux qui sont autorisés, ceux qui sont bloqués, ainsi que la règle qui en a décidé.
- Saisissez votre domaine
- Nous lisons le fichier robots.txt
- Comparé pour chaque robot d'exploration
- Autorisé ou bloqué
Chaque robot d'exploration d'IA, trié selon son activité
Robots d'exploration d'entraînement, séparés
Ceux-ci collectent du texte pour entraîner des modèles et n'envoient jamais de visiteur. Ils utilisent leurs propres jetons, ce qui vous permet de prendre une décision spécifique pour chacun d'eux.
La règle derrière chaque verdict
Chaque résultat indique la ligne de votre fichier qui l'a déterminé, et un fichier robots.txt illisible est marqué comme non mesuré, sans jamais être considéré comme autorisé.
Comment ça marche
Nous récupérons une fois le fichier /robots.txt de votre domaine et appliquons ses groupes au jeton de l'agent utilisateur de chaque robot, de la même manière que le fait le robot lui-même. Un fichier qui renvoie une erreur ou ne répond pas est signalé comme non mesuré.
Foire aux questions
Quels robots d'exploration d'IA la vérification du fichier robots.txt teste-t-elle ?
Tous les robots d'exploration d'IA de la liste que nous tenons à jour pour nos propres sites, notamment OpenAI, Anthropic, Google, Meta, Perplexity, Apple, Microsoft et d'autres. Votre fichier robots.txt est comparé au jeton d'agent utilisateur de chaque robot d'exploration, et la règle qui a déterminé le résultat est affichée à côté du verdict.
Quelle est la différence entre un robot d'exploration de réponses et un robot d'exploration d'entraînement ?
Un robot d'exploration de réponses récupère des pages pour répondre à une question posée en temps réel ou pour créer un index de recherche, tout en vous citant et en renvoyant un lien. Un robot d'exploration d'entraînement collecte du texte pour entraîner un modèle et n'envoie jamais de visiteur. Ils utilisent des jetons différents - OAI-SearchBot et GPTBot appartiennent tous deux à OpenAI - de sorte qu'un site peut autoriser l'un et refuser l'autre.
Pourquoi un robot d'exploration apparaît-il comme non mesuré ?
Parce que nous n'avons pas pu lire votre robots.txt : le serveur a renvoyé une erreur ou n'a pas répondu. Un robot d'indexation qui se heurte à un robots.txt inaccessible doit supposer que l'accès lui est refusé, et nous ne signalons jamais un fichier que nous n'avons pas vu comme une autorisation.
Dois-je bloquer les robots d'entraînement d'IA ?
Il s'agit d'une décision commerciale, et le fichier robots.txt vous permet de la prendre robot par robot. Cependant, bloquer un robot de réponse vous exclut des réponses qu'il fournit, veillez donc à vérifier ce groupe en premier.