robots.txt für KI-Crawler: welche Sie sperren, welche Sie zulassen, und wie Sie es prüfen
Der ganze robots.txt-Standard passt auf eine Seite, und die meisten KI-Sichtbarkeitsprobleme, die wir sehen, beginnen dort. Wie die Regeln wirklich greifen, welcher Bot 2026 was tut, kopierfertige Dateien für die drei häufigen Fälle, und woran Sie erkennen, ob ein Crawler sich daran gehalten hat.
Saurav Chamoli··7 Min. Lesezeit
robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Domain, die Crawlern, namentlich, sagt, welche Pfade sie abrufen dürfen. Sie ist eine Bitte, kein Schloss: Ehrliche Crawler lesen sie vor jedem Crawl und halten sich daran, Scraper ignorieren sie, und nichts darin wird von Ihrem Server erzwungen. Dieser eine Satz erklärt das meiste von dem, was folgt, auch, warum eine 2023 geschriebene Datei, die KI-Unternehmen fernhalten sollte, Sie heute leise aus deren Antworten heraushält.
Über die GPTBot-Entscheidung im Besonderen habe ich kürzlich geschrieben. Dies ist die längere Referenz: wie die Datei gelesen wird, wer die Crawler sind, und die genauen Regeln für die Fälle, die Leute tatsächlich haben.
Wie die Datei gelesen wird
Ein Crawler ruft https://ihredomain.ch/robots.txt einmal ab und prüft dann jede URL, die er abrufen will, gegen die Regeln. Die Datei besteht aus Gruppen. Eine Gruppe beginnt mit einer oder mehreren User-agent:-Zeilen, gefolgt von Disallow:- und Allow:-Zeilen, die für diese Agents gelten.
Fünf Regeln entscheiden, was passiert, und zwei davon überraschen:
Ein Crawler befolgt genau eine Gruppe: die spezifischste, die ihn nennt. Gibt es eine Gruppe für ExampleBot, liest dieser Bot nur diese Gruppe und ignoriert die *-Gruppe vollständig. Diese Regel steckt hinter den meisten Unfällen. Fügen Sie eine Gruppe für einen KI-Bot hinzu, um ihn zuzulassen, vergessen Sie, Ihr /api/-Disallow darin zu wiederholen, und dieser Bot crawlt jetzt /api/.
Pfade sind Präfixe, und die längste passende Regel gewinnt.Disallow: /intern/ mit Allow: /intern/public/ lässt /intern/public/bericht.pdf durch, weil das Allow länger ist. Bei gleicher Länge gewinnt in Googles Implementierung das Allow.
Pfade unterscheiden Gross- und Kleinschreibung.Disallow: /Intern/ bewirkt nichts für /intern/.
* steht für eine beliebige Zeichenfolge, $ verankert das Ende.Disallow: /*.pdf$ sperrt jedes PDF. Disallow: /*? sperrt jede URL mit Query-String. Ohne $ sperrt Disallow: /*.pdf auch /datei.pdf?download=1 und .
/pdf-leitfaden/
Ein leeres Disallow: erlaubt alles, und eine fehlende Datei erlaubt alles. Eine robots.txt, die 404 liefert, heisst «alles crawlen». Eine robots.txt, die einen 5xx-Fehler liefert, lässt Google die ganze Website als gesperrt behandeln, bis sie sich erholt; eine kaputte Serverregel hier kann also Ihren Index leeren.
Crawl-delay: steht in vielen Dateien, und Google ignoriert es; Bing hält sich daran. Zeilen, die mit # beginnen, sind Kommentare. Die Kodierung ist UTF-8, und ein Byte-Order-Mark am Dateianfang hat schon mehr als eine User-agent-Zeile gebrochen, weil die erste Zeile dann als \ufeffUser-agent gelesen wird.
Die Crawler, nach dem, was sie tun
Die Betreiber lassen inzwischen getrennte Bots für getrennte Aufgaben laufen, und die Namen zählen mehr als die Firmen. Drei Aufgaben:
Training: Text sammeln, um das nächste Modell zu trainieren. Das zu sperren hat keinen Einfluss darauf, ob Sie in Antworten vorkommen.
Suchindex: den Index aufbauen, den der Assistent durchsucht, wenn ein Nutzer mit eingeschalteter Suche etwas fragt. Das zu sperren entfernt Sie aus den Antworten.
Nutzerabruf: eine Seite holen, weil ein Nutzer den Link eingefügt oder direkt danach gefragt hat. Diese handeln im Auftrag einer Person, und die Betreiber sagen, dass sie robots.txt dabei nicht unbedingt als Crawl-Regel behandeln; prüfen Sie die Seite des jeweiligen Betreibers.
Betreiber
Training
Suchindex
Nutzerabruf
OpenAI (ChatGPT)
GPTBot
OAI-SearchBot
ChatGPT-User
Anthropic (Claude)
ClaudeBot
Claude-SearchBot
Claude-User
Perplexity
PerplexityBot
PerplexityBot
Perplexity-User
Google (Gemini, AI Overviews)
Google-Extended (ein Token, kein Bot)
Googlebot
Google-Extended deckt auch Grounding ab
Microsoft (Copilot)
Bingbot
Bingbot
—
Apple (Siri, Apple Intelligence)
Applebot-Extended (Token)
Applebot
—
Meta
Meta-ExternalAgent
—
Meta-ExternalFetcher
Amazon (Alexa)
Amazonbot
Amazonbot
—
Common Crawl (von vielen genutzt)
CCBot
—
—
ByteDance
Bytespider
—
—
Zwei Einträge brauchen je einen Satz. Google hat keinen Gemini-Crawler: Geminis Suchanbindung und die AI Overviews nutzen den gewöhnlichen Google-Suchindex, der einzige Weg, Ihre Seiten dort herauszuhalten, ist also, sie aus der Google-Suche herauszuhalten. Google-Extended ist ein Token, das Sie in der robots.txt nennen können, um zu sagen «meine Seiten nicht für Gemini-Training oder -Grounding verwenden»; es ändert weder das Such-Ranking noch die AI Overviews. Perplexity nutzt einen Crawler für Indexierung und Training zugleich, Sie können also nicht das eine ohne das andere sperren.
Diese Namen ändern sich. Jeder Betreiber veröffentlicht eine Seite mit seinen aktuellen User-Agents, und die meisten veröffentlichen die IP-Bereiche, aus denen die Bots kommen. Schauen Sie einmal im Jahr nach.
Fall 1: Training sperren, in den Antworten bleiben
Die Datei, die die meisten Unternehmen 2026 haben sollten, wenn sie sich zum Training noch nicht entschieden haben, aber gefunden werden wollen:
Beachten Sie, dass die zweite Gruppe die Disallows der *-Gruppe wiederholt. Regel 1 oben: Ein benannter Bot liest die *-Gruppe nie. Perplexity steht in der «Ja»-Liste, weil eine Sperre auch den Index sperrt.
Fall 2: alle KI-Crawler zulassen
Wenn Training Sie nicht stört, ist die kürzeste korrekte Datei die ohne jede KI-spezifische Gruppe:
Alles, was nicht genannt ist, fällt unter *. Allow: /-Zeilen brauchen Sie nicht; erlaubt ist der Standard. Dateien, die zwanzig KI-Bots je mit Allow: / aufführen, sind nicht falsch, nur Pflege, die Sie nicht brauchen.
Das ist die ganze Änderung. Widerstehen Sie dem Drang, zusätzlich Allow: /-Gruppen für die Bots anzulegen, die Sie mögen; die sind schon durch * abgedeckt.
Teile der Website sperren, für alle
Entwurfsseiten, interne Werkzeuge, Suchergebnisseiten, die tausend Filterkombinationen eines Shops. Die gehören unter *, mit Allow: für die Ausnahmen:
Disallow: /suche ohne abschliessenden Schrägstrich sperrt /suche, /suche/ und /suchergebnisse gleichermassen, weil es ein Präfix ist. Setzen Sie den Schrägstrich, wenn Sie das Verzeichnis meinen.
Was robots.txt nicht kann
Sie ist keine Sicherheit. Alles, was ein Browser ohne Anmeldung abrufen kann, kann ein Skript abrufen und dabei die robots.txt ignorieren. Privates gehört hinter ein Login, nicht hinter ein Disallow. Die Datei ist öffentlich und listet genau auf, wo niemand hinschauen sollte.
Sie entfernt keine Seiten aus Google. Eine gesperrte URL kann allein über Links indexiert bleiben, angezeigt ohne Beschreibung. Um eine Seite aus dem Index zu halten, brauchen Sie <meta name="robots" content="noindex"> oder einen X-Robots-Tag: noindex-Header, und die Seite muss crawlbar sein, damit der Crawler das Tag sieht. Dieselbe Seite zu sperren und mit noindex zu versehen ist ein Widerspruch: Der Crawler liest das noindex nie. Noindex:-Zeilen in der robots.txt beachtet Google seit 2019 nicht mehr.
PDFs und Bilder können kein Meta-Tag tragen. Dafür ist der X-Robots-Tag-Antwortheader das Werkzeug.
Nicht jede KI-Funktion liest sie. Nutzerausgelöste Abrufe, Browser-Erweiterungen und «Diese Seite zusammenfassen»-Knöpfe arbeiten mit der Seite, die der Nutzer gerade ansieht. robots.txt regelt das Crawlen, nicht das Lesen.
Wie Sie prüfen, ob es funktioniert hat
Nach Aufwand geordnet:
Öffnen Sie die Datei im Browser.https://ihredomain.ch/robots.txt sollte reinen Text mit Status 200 liefern. Erstaunlich viele Websites liefern ihre gestaltete 404-Seite mit Status 200, was Crawler als leere Datei lesen.
Die Google Search Console hat einen robots.txt-Bericht mit der zuletzt von Google abgerufenen Version, dem Zeitpunkt und allen Parse-Fehlern. Wenn Sie die Datei ändern und der Bericht noch die alte zeigt, hat Google sie noch nicht neu abgerufen; das passiert meist innerhalb eines Tages.
Ihre Server-Logs. Filtern Sie nach den User-Agents oben. Hat OAI-SearchBot letzte Woche hundert Seiten abgerufen, ist er zugelassen und aktiv. Ruft GPTBot weiter ab, nachdem Sie ihn gesperrt haben, hat entweder Ihre Datei einen Fehler, oder die Anfragen kommen nicht wirklich von OpenAI. Die Betreiber veröffentlichen IP-Bereiche; ein Reverse-DNS-Lookup der Anfrage-IP klärt es.
Ein Checker, der die Datei so liest wie die Bots. Die kostenlose Analyse auf dieser Website ruft Ihre robots.txt ab, wertet sie mit denselben Präfixregeln aus und listet auf, welche der KI-Crawler Ihre Seiten erreichen dürfen und welche nicht. Die Referenztabelle mit den aktuellen User-Agents steht unter KI-Bot-Zugang.
Die Fehler, die wir am häufigsten sehen
Googlebot sperren, um Gemini fernzuhalten. Das entfernt Sie aus der Google-Suche. Nutzen Sie Google-Extended, wenn es ums Training geht, und akzeptieren Sie, dass die AI Overviews zur Suche gehören.
Die Sperrliste eines Plugins von 2023, nie wieder angeschaut. Mehrere WordPress-Sicherheitsplugins und CDN-Voreinstellungen haben Disallow: / für eine Liste von «KI-Bots» hinzugefügt, die enthielt, was heute die Such-Crawler sind. Öffnen Sie die Datei und lesen Sie sie; das dauert eine Minute.
Eine benannte Gruppe ohne die gemeinsamen Disallows. Oben behandelt, und der häufigste Weg, auf dem ein /api/- oder /account/-Pfad gecrawlt wird.
CSS und JavaScript sperren. Google rendert Seiten; ein gesperrtes Stylesheet heisst, es rendert sie kaputt und bewertet sie so. Sperren Sie nur Assets, von denen Sie sicher sind, dass nichts sie braucht.
Mit falscher Schreibweise oder falschem Schrägstrich testen./Blog/ und /blog/ sind verschiedene Pfade, /suche und /suche/ greifen unterschiedlich. Testen Sie genau die URL, die Ihnen Sorgen machte.
Wenn Sie den Crawlern, sobald sie hineindürfen, auch sagen wollen, was Ihre Website ist, ist das die Aufgabe von llms.txt, die neben der robots.txt liegt und das Gegenteil tut: nicht wohin, sondern was es dort zu verstehen gibt.
Schweizer und deutsches Recht verpflichtet Sie zu veröffentlichen, wer Sie sind. Diese Pflicht erzeugt zufällig genau die Seite, mit der Antwortmaschinen entscheiden, ob ein Unternehmen echt ist. Sieben Zeilen, die aus einer rechtlichen Fusszeile ein Vertrauenssignal machen.