Sollten Sie GPTBot blockieren? Was das Sperren von KI-Crawlern ein kleines Unternehmen kostet
Die Hälfte der robots.txt-Dateien, die wir anschauen, sperrt mindestens einen KI-Crawler, oft versehentlich. Was jeder Bot tut, welche Sie ohne Verlust sperren können, und welche Sperre Sie aus den Antworten verschwinden lässt.
Saurav Chamoli3 Min. Lesezeit
2023 haben viele ein paar Zeilen in die robots.txt gesetzt, damit OpenAI nicht mit ihrer Website trainiert. Ich verstehe den Impuls. Das Problem: Dieselben Zeilen, einfach stehen gelassen, halten Sie heute auch aus den Antworten heraus, die ChatGPT gibt, wenn jemand nach Ihrer Branche fragt. Trainieren und Antworten sind verschiedene Bots. Die meisten haben beide gesperrt.
Es gibt nicht einen OpenAI-Crawler, es gibt drei
GPTBot sammelt Seiten fürs Training künftiger Modelle. Ihn zu sperren heisst, dass Ihr Text nicht in die Trainingsdaten des nächsten Modells wandert. Das ist eine legitime Entscheidung und kostet Sie nichts, was Sie bemerken würden.
OAI-SearchBot ist der, der für die Sichtbarkeit zählt. Er baut den Index, den ChatGPT durchsucht, wenn ein Nutzer eine Frage mit eingeschalteter Suche stellt. Sperren Sie ihn, kann ChatGPT Ihre Seite nicht finden, um sie zu zitieren. Die Seite Ihres Mitbewerbers, wenn seine offen ist, wird stattdessen zitiert.
ChatGPT-User ruft eine Seite ab, wenn ein Nutzer ausdrücklich danach fragt, eine URL einfügt oder nachhakt. Ihn zu sperren heisst, dass ein Nutzer, der fragt «was macht dieses Unternehmen», ein «Ich kann auf diese Website nicht zugreifen» bekommt.
OpenAI dokumentiert alle drei auf seiner Website. Anthropic hat dieselbe Aufteilung: ClaudeBot fürs Training, Claude-SearchBot für die Suche, Claude-User für Nutzeranfragen. Perplexity hat PerplexityBot und Perplexity-User. Google hält es einfacher und verwirrender zugleich: Es gibt keinen separaten Gemini-Crawler, Geminis Suchanbindung nutzt den gewöhnlichen Google-Index, und Google-Extended ist gar kein Crawler, sondern ein Token, das Sie in die robots.txt setzen, um zu sagen «meine Seiten nicht fürs Gemini-Training verwenden». Googlebot zu sperren, um Gemini zu stoppen, entfernt Sie aus der Google-Suche. Das ist schon vorgekommen.
Was wir tatsächlich sehen
Wir prüfen die robots.txt bei jeder Analyse. Das Muster wiederholt sich: ein WordPress-Sicherheitsplugin oder eine CDN-Voreinstellung, die 2023 oder 2024 Disallow: / für eine Liste von «KI-Bots» hinzugefügt hat, und seither hat niemand mehr hingeschaut. Die Liste enthält meist die Such-Bots, weil es die Unterscheidung damals nicht gab. Der Betreiber hat keine Ahnung. Er nimmt an, KI-Assistenten ignorierten ihn, weil die Website klein ist.
Ich nenne Ihnen keine Zahl dazu, wie häufig das ist, weil unsere Stichprobe aus Websites besteht, deren Betreiber neugierig genug waren, eine Prüfung laufen zu lassen, und das sind nicht alle. Häufig genug jedenfalls, dass es das Erste ist, worauf ich schauen würde, wenn eine Website, die mir wichtig ist, nie auftaucht.
