robots.txt für KI-Bots

Stand der Belege (Oktober 2026)

Alles, was diese Seite über einzelne Bots sagt, stammt aus der Dokumentation der Betreiber selbst (siehe „Offizielle Quellen“ unten). OpenAI, Anthropic, Google, Apple und Amazon dokumentieren jeweils einen robots.txt-Namen, der mit dem Training von KI-Modellen zu tun hat – getrennt von ihren Such- oder Abruf-Bots. Perplexity schreibt, dass seine beiden Bots nicht für das Training von KI-Basismodellen genutzt werden. OpenAI hält fest: „Each setting is independent of the others.“

Das Sperren eines Such-Bots hat eine dokumentierte Folge: Laut OpenAI erscheinen Seiten, die OAI-SearchBot sperren, nicht in den Suchantworten von ChatGPT. Laut Anthropic kann das Sperren von Claude-SearchBot die Sichtbarkeit Ihrer Seite verringern. Bots, die eine Seite auf Wunsch eines Nutzers abrufen, sind ein Sonderfall: Für ChatGPT-User gelten robots.txt-Regeln laut OpenAI möglicherweise nicht; Perplexity-User ignoriert sie laut Perplexity in der Regel.

Nicht dokumentiert ist, wie oft ein Bot vorbeikommt und ob ein erlaubter Bot dazu führt, dass Ihre Seite zitiert wird. Kein Anbieter sagt, wie schnell ein Trainings-Opt-out in einem Modell ankommt. robots.txt ist eine Bitte, kein Schloss – laut Google halten sich manche Crawler nicht daran.

Was ist robots.txt?

robots.txt ist eine Textdatei im Stammverzeichnis Ihres Hosts (z. B. https://example.com/robots.txt). Laut Google teilt sie Suchmaschinen-Crawlern mit, auf welche URLs Ihrer Website sie zugreifen dürfen. Die Datei folgt dem Robots Exclusion Protocol. Seriöse Crawler halten sich daran. Technisch aufhalten kann die Datei einen Crawler nicht, der sie ignoriert.

Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die den Bot benennen. Darauf folgen Allow- oder Disallow-Regeln.

Warum robots.txt für KI-Bots wichtig ist

Sie müssen KI-Bots nicht „freischalten“. Nach Googles robots.txt-Spezifikation gibt es standardmäßig keine Einschränkungen für das Crawling. Eine Website ohne Regeln für einen Bot steht ihm offen. Wichtig wird robots.txt in zwei Fällen:

Sie sperren mehr als beabsichtigt. Ein Disallow: / unter User-agent: * – oft ein Rest aus der Staging-Umgebung – gilt auch für jeden KI-Bot ohne eigene Gruppe. Was das bei Such-Bots bedeutet, dokumentieren die Anbieter (siehe Kasten oben).
Sie wollen kein Modelltraining, aber in der Suche bleiben. Die meisten Anbieter haben dafür einen eigenen Namen. Sie können den Trainings-Namen sperren und den Such-Namen unberührt lassen.

Die KI-Bots und was ihre Betreiber über sie sagen

Nach Anbieter sortiert. Den Zweck geben wir so wieder, wie der Anbieter ihn beschreibt. Wo ein Anbieter zwischen Training und Suche unterscheidet, tun wir das auch – und nur dort.

OpenAI

GPTBot – crawlt Inhalte, die für das Training der generativen KI-Basismodelle von OpenAI genutzt werden können. Wer GPTBot sperrt, signalisiert laut OpenAI, dass die Inhalte nicht für dieses Training verwendet werden sollen.
OAI-SearchBot – dient dazu, Websites in den Suchfunktionen von ChatGPT anzuzeigen. Laut OpenAI kann es rund 24 Stunden dauern, bis eine Änderung der robots.txt berücksichtigt ist.
ChatGPT-User – ruft eine Seite auf, wenn ein Nutzer ChatGPT oder einem Custom GPT eine Frage stellt. Er crawlt das Web nicht automatisch. Weil der Abruf vom Nutzer ausgeht, gelten robots.txt-Regeln laut OpenAI möglicherweise nicht.

Anthropic

ClaudeBot – sammelt Web-Inhalte, die zum Training der Modelle beitragen können. Wer ihn sperrt, signalisiert laut Anthropic, dass künftige Inhalte der Seite aus den Trainingsdaten ausgeschlossen werden sollen.
Claude-User – ruft Websites auf, wenn Nutzer Claude Fragen stellen. Wer ihn sperrt, verhindert, dass Claude Ihre Inhalte auf eine Nutzerfrage hin abruft.
Claude-SearchBot – durchsucht das Web, um die Qualität von Suchergebnissen zu verbessern. Wer ihn sperrt, verhindert die Indexierung für die Suche.

Anthropic schreibt, dass seine Bots robots.txt beachten. Die Regel soll für jede Subdomain eingetragen werden, die ausgeschlossen werden soll.

Perplexity

PerplexityBot – dient dazu, Websites in den Suchergebnissen von Perplexity anzuzeigen und zu verlinken. Laut Perplexity wird er nicht genutzt, um Inhalte für KI-Basismodelle zu crawlen.
Perplexity-User – ruft eine Seite auf, wenn ein Perplexity-Nutzer eine Frage stellt. Weil der Nutzer den Abruf auslöst, ignoriert er robots.txt-Regeln laut Perplexity in der Regel.

Google

Google-Extended – ein robots.txt-Token, kein eigener Crawler. Er steuert, ob Inhalte, die Google crawlt, für das Training künftiger Gemini-Modelle genutzt werden dürfen. Laut Google hat er keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Rankingsignal.

Apple

Applebot – der Web-Crawler von Apple. Laut Apple können seine Daten auch für das Training von Apples Basismodellen genutzt werden.
Applebot-Extended – damit widersprechen Sie der Nutzung Ihrer Inhalte für das Training von Apples allgemeinen Basismodellen. Er crawlt selbst keine Seiten. Seiten, die ihn sperren, können laut Apple weiterhin in Suchergebnissen erscheinen.

Amazon

Amazonbot – dient laut Amazon dazu, Produkte und Dienste zu verbessern. Seine Daten können für das Training von Amazons KI-Modellen genutzt werden.
Amzn-SearchBot – dient der Suche in Amazons Produkten und Diensten. Er crawlt laut Amazon keine Inhalte für das Training generativer KI-Modelle.
Amzn-User – unterstützt Nutzeraktionen, etwa Alexa-Anfragen. Laut Amazon befolgt er möglicherweise nicht alle robots.txt-Anweisungen.

Common Crawl

CCBot – der Crawler von Common Crawl, einer gemeinnützigen Stiftung, die Web-Informationen frei zugänglich machen will. Die Bot-Seite zeigt, wie man ihn sperrt, sagt aber nicht, wer die Daten nutzt.

Namen ohne aktuelle Anbieter-Dokumentation

anthropic-ai und Claude-Web stehen in robots.txt-Vorlagen, auch in einer früheren Fassung dieser Seite. Der aktuelle Hilfeartikel von Anthropic nennt nur ClaudeBot, Claude-User und Claude-SearchBot. Für Bytespider und cohere-ai liegt uns keine Dokumentation der Betreiber vor. Regeln für diese Namen schaden nicht. Was sie steuern, können wir Ihnen aber nicht sagen.

So entscheiden Sie: Wenn Sie in der ChatGPT-Suche, bei Perplexity oder in der Suche von Claude erscheinen wollen, sperren Sie OAI-SearchBot, PerplexityBot und Claude-SearchBot nicht. Wenn Ihre Inhalte nicht ins Modelltraining sollen, sperren Sie die Namen, die die Anbieter dafür dokumentieren: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended. Beide Entscheidungen sind unabhängig voneinander. Ob Erreichbarkeit zu Zitaten führt, ist nicht dokumentiert.

robots.txt-Beispiele

Alles erlauben: Dafür brauchen Sie keine KI-spezifischen Zeilen. Das genügt:

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

In der Suche bleiben, Training ausschließen: eine Gruppe für die Trainings-Namen. Googles Spezifikation erlaubt mehrere User-agent-Zeilen über einem Regelblock.

User-agent: *
Allow: /

# Kein Modelltraining (Namen laut Doku von OpenAI, Anthropic, Google, Apple)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Such-Bots wie OAI-SearchBot, Claude-SearchBot und PerplexityBot brauchen
# keinen Eintrag: Ein Bot ohne eigene Gruppe fällt unter "User-agent: *".

Sitemap: https://example.com/sitemap.xml

Ersetzen Sie https://example.com/sitemap.xml durch Ihre tatsächliche Sitemap-URL. Falls Sie mehrere Sitemaps haben, fügen Sie je eine Sitemap:-Zeile pro Datei hinzu. Nehmen Sie Amazonbot oder CCBot nur dann in die Trainings-Gruppe auf, wenn die Beschreibung oben zu dem passt, was Sie sperren wollen. Amazon und Common Crawl beschreiben sie nicht als reine Trainings-Bots.

Wie Sie Ihre robots.txt überprüfen

curl – Führen Sie curl -s https://ihredomain.de/robots.txt in einem Terminal aus, um zu bestätigen, dass die Datei korrekt mit dem Status 200 ausgeliefert wird.
Je Bot lesen – Suchen Sie für jeden Bot die Gruppe, die ihn nennt. Gibt es keine, gilt die Gruppe User-agent: *.
KI-Sichtbarkeits-Scanner – Unser kostenloser Scanner prüft Ihre robots.txt als Teil seines Audits.

Häufige Fehler

Pauschalsperre: User-agent: * gefolgt von Disallow: / sperrt jeden Bot ohne eigene Gruppe – einschließlich aller KI-Crawler. Dieser Eintrag stammt häufig aus der Entwicklungs- oder Staging-Umgebung.
Gruppen werden nicht kombiniert: Laut Google werden Gruppen für einzelne Bots und die allgemeine Gruppe (*) nicht zusammengeführt. Sobald Sie eine Gruppe für GPTBot anlegen, gelten die Regeln unter User-agent: * für ihn nicht mehr. Wiederholen Sie Regeln, die weiter gelten sollen.
Sich auf nicht dokumentierte Namen verlassen: Eine Regel für anthropic-ai oder Claude-Web trifft nicht ClaudeBot. Verwenden Sie die Namen aus der aktuellen Dokumentation des Anbieters.
Sich bei Nutzer-Abrufen auf robots.txt verlassen: OpenAI, Perplexity und Amazon schreiben, dass ihre nutzergesteuerten Agenten robots.txt möglicherweise nicht befolgen (siehe oben).
Falscher Dateipfad: robots.txt muss im Stammverzeichnis Ihres Hosts liegen (/robots.txt). Laut Google suchen Crawler nicht in Unterordnern nach robots.txt. Jede Subdomain braucht eine eigene Datei.
Groß-/Kleinschreibung in Pfaden: Bei Bot-Namen spielt sie keine Rolle – laut Google sind Feldname und Wert der User-agent-Zeile unabhängig von Groß- und Kleinschreibung. Bei Pfaden schon: Disallow: /Blog/ sperrt /blog/ nicht.
robots.txt zum Verstecken nutzen: robots.txt steuert das Crawling, nicht die Indexierung. Laut Google ist die Datei kein Mittel, um eine Seite aus Google herauszuhalten. Verwenden Sie <meta name="robots" content="noindex"> oder den X-Robots-Tag-HTTP-Header, oder schützen Sie die Seite mit einem Passwort.

Offizielle Quellen

Testen Sie Ihre robots.txt jetzt — kostenloser KI-Sichtbarkeits-Score 30+ Checks in unter 30 Sekunden