Rastreadores de respostas, exibidos primeiro
Esses buscam páginas para responder a perguntas e criar índices de busca, e citam você. Bloquear um deles mantém você fora de suas respostas.
Ferramenta gratuita
Veja quais rastreadores de IA seu robots.txt permite entrar
Insira seu domínio. Nós lemos seu robots.txt, comparamos com o token de cada rastreador de IA e mostramos quais são permitidos, quais estão bloqueados e a regra que decidiu isso.
- Insira seu domínio
- Lemos o robots.txt
- Comparado por rastreador
- Permitido ou bloqueado
Todos os rastreadores de IA, ordenados pelo que fazem
Rastreadores de treinamento, mantidos separados
Esses coletam texto para treinar modelos e nunca enviam um visitante. Eles usam seus próprios tokens, para que você possa decidir sobre eles de forma independente.
A regra por trás de cada veredito
Cada resultado indica a linha em seu arquivo que decidiu isso, e um robots.txt ilegível é marcado como não medido, nunca sendo contado como permitido.
Como isso funciona
Buscamos /robots.txt do seu domínio uma vez e aplicamos seus grupos ao token de user-agent de cada rastreador, da mesma forma que o próprio rastreador faz. Um arquivo que apresenta erro ou não responde é relatado como não medido.
Perguntas frequentes
Quais rastreadores de IA o verificador de robots.txt testa?
Todos os rastreadores de IA na lista que mantemos para nossos próprios sites, incluindo OpenAI, Anthropic, Google, Meta, Perplexity, Apple, Microsoft e outros. Seu robots.txt é comparado com o token de user-agent de cada rastreador, e a regra que decidiu isso é exibida ao lado do veredito.
Qual é a diferença entre um rastreador de respostas e um rastreador de treinamento?
Um rastreador de respostas busca páginas para responder a uma pergunta que alguém está fazendo no momento, ou para criar um índice de busca, e faz citações e links de volta. Um rastreador de treinamento coleta texto para treinar um modelo e nunca envia um visitante. Eles usam tokens diferentes – OAI-SearchBot e GPTBot pertencem à OpenAI –, por isso um site pode aceitar um e rejeitar o outro.
Por que um rastreador é exibido como não medido?
Porque não conseguimos ler seu robots.txt: o servidor apresentou erro ou não respondeu. Um rastreador que encontra um robots.txt inacessível deve presumir que está bloqueado, e nós nunca relatamos um arquivo que não vimos como permissão.
Devo bloquear rastreadores de treinamento de IA?
Essa é uma decisão de negócios, e o robots.txt permite que você a tome rastreador por rastreador. No entanto, bloquear um rastreador de respostas impede você de aparecer nas respostas que ele fornece, portanto, verifique esse grupo primeiro.