Rastreadores de respuestas, mostrados primero
Estos obtienen páginas para responder preguntas y crear índices de búsqueda, y te citan. Bloquear uno te deja fuera de sus respuestas.
Herramienta gratuita
Mira qué rastreadores de IA permite ingresar tu robots.txt
Ingresa tu dominio. Leemos tu robots.txt, lo comparamos con el token de cada rastreador de IA y mostramos cuáles están permitidos, cuáles bloqueados y la regla que lo decidió.
- Ingresa tu dominio
- Leemos robots.txt
- Comparado por rastreador
- Permitido o bloqueado
Cada rastreador de IA, clasificado por lo que hace
Rastreadores de entrenamiento, que se mantienen separados
Estos recopilan texto para entrenar modelos y nunca envían un visitante. Usan sus propios tokens, por lo que puedes decidir sobre ellos por separado.
La regla detrás de cada veredicto
Cada resultado indica la línea de tu archivo que lo decidió, y un robots.txt ilegible se marca como no medido, sin contarse nunca como permitido.
Cómo funciona esto
Obtenemos el archivo /robots.txt de tu dominio una vez y aplicamos sus grupos al token del user agent de cada rastreador, de la misma manera que lo hace el propio rastreador. Un archivo que da error o no responde se reporta como no medido.
Preguntas frecuentes
¿Qué rastreadores de IA evalúa la comprobación de robots.txt?
Cada rastreador de IA en la lista que mantenemos para nuestros propios sitios, de OpenAI, Anthropic, Google, Meta, Perplexity, Apple, Microsoft y otros. Tu robots.txt se compara con el token de agente de usuario de cada rastreador, y la regla que lo decidió se muestra junto al veredicto.
¿Cuál es la diferencia entre un rastreador de respuestas y un rastreador de entrenamiento?
Un rastreador de respuestas recopila páginas para responder a una pregunta que alguien está haciendo ahora, o para crear un índice de búsqueda, y cita y enlaza de regreso. Un rastreador de entrenamiento recopila texto para entrenar un modelo y nunca envía un visitante. Usan diferentes tokens (OAI-SearchBot y GPTBot son de OpenAI), por lo que un sitio puede aceptar uno y rechazar el otro.
¿Por qué un rastreador aparece como no medido?
Porque no pudimos leer tu robots.txt: el servidor dio un error o no respondió. Un rastreador que encuentra un robots.txt inaccesible debería asumir que no tiene acceso, y nunca reportamos como permiso un archivo que no vimos.
¿Debería bloquear los rastreadores de entrenamiento de IA?
Esa es una decisión comercial, y robots.txt te permite tomarla rastreador por rastreador. Sin embargo, bloquear un rastreador de respuestas te deja fuera de las respuestas que este ofrece, así que primero revisa ese grupo.