Kostenloses Tool

Sieh, welche KI-Crawler deine robots.txt hereinlässt

Gib deine Domain ein. Wir lesen deine robots.txt, gleichen sie mit dem eigenen Token jedes KI-Crawlers ab und zeigen, welche erlaubt, welche blockiert sind und welche Regel das entschieden hat.

  • Domain eingeben
  • Wir lesen robots.txt
  • Pro Crawler abgeglichen
  • Erlaubt oder blockiert

Jeder KI-Crawler, sortiert nach seiner Aufgabe

Antwort-Crawler, zuerst angezeigt

Diese rufen Seiten ab, um Fragen zu beantworten und Suchindizes aufzubauen, und sie nennen dich als Quelle. Einen zu blockieren hält dich aus seinen Antworten heraus.

Trainings-Crawler, getrennt gehalten

Diese sammeln Text zum Trainieren von Modellen und schicken nie einen Besucher. Sie nutzen eigene Tokens, du kannst also separat über sie entscheiden.

Die Regel hinter jedem Urteil

Jedes Ergebnis nennt die Zeile in deiner Datei, die es entschieden hat, und eine unlesbare robots.txt wird als nicht gemessen markiert, nie als erlaubt gezählt.

So funktioniert es

Wir rufen /robots.txt von deiner Domain einmal ab und wenden ihre Gruppen auf das User-Agent-Token jedes Crawlers an, so wie der Crawler selbst es tut. Eine Datei, die einen Fehler meldet oder nicht antwortet, wird als nicht gemessen gemeldet.

Häufig gestellte Fragen

Welche KI-Crawler prüft der robots.txt-Check?

Jeden KI-Crawler auf der Liste, die wir für unsere eigenen Websites führen, von OpenAI, Anthropic, Google, Meta, Perplexity, Apple, Microsoft und anderen. Deine robots.txt wird mit dem eigenen User-Agent-Token jedes Crawlers abgeglichen, und die entscheidende Regel wird neben dem Urteil angezeigt.

Was ist der Unterschied zwischen einem Antwort-Crawler und einem Trainings-Crawler?

Ein Antwort-Crawler ruft Seiten ab, um eine Frage zu beantworten, die jemand gerade stellt, oder um einen Suchindex aufzubauen, und er nennt und verlinkt die Quelle. Ein Trainings-Crawler sammelt Text zum Trainieren eines Modells und schickt nie einen Besucher. Sie nutzen unterschiedliche Tokens - OAI-SearchBot und GPTBot gehören beide zu OpenAI -, so kann eine Website den einen willkommen heißen und den anderen abweisen.

Warum wird ein Crawler als nicht gemessen angezeigt?

Weil wir deine robots.txt nicht lesen konnten: der Server meldete einen Fehler oder antwortete nicht. Ein Crawler, der auf eine unerreichbare robots.txt trifft, sollte annehmen, dass er ausgesperrt ist, und wir melden eine Datei, die wir nicht gesehen haben, nie als Erlaubnis.

Soll ich KI-Trainings-Crawler blockieren?

Das ist eine Geschäftsentscheidung, und mit robots.txt kannst du sie Crawler für Crawler treffen. Einen Antwort-Crawler zu blockieren hält dich jedoch aus den Antworten heraus, die er gibt, prüfe also zuerst diese Gruppe.