KI-Bot-Zugang
Wenn einer dieser Bots in robots.txt blockiert ist, kann die Plattform Ihre Seiten nicht für ihre Antworten nutzen. Stellen Sie sicher, dass sie erlaubt sind, auf der Startseite und auf Ihren Inhaltsseiten:
| Bot / User-Agent | Plattform |
|---|---|
| OAI-SearchBot, ChatGPT-User | OpenAI (ChatGPT) |
| PerplexityBot | Perplexity |
| Claude-SearchBot, Claude-User | Claude |
| Googlebot, Google-Extended | Gemini / AI Overviews |
| Bingbot | Copilot |
Einige Crawler sammeln nur Trainingsdaten: GPTBot, ClaudeBot und CCBot. Sie zu blockieren hat keinen Einfluss auf Antworten oder Zitate. Google-Extended ist anders: Es steuert auch Antworten in den Gemini-Apps. Wer es blockiert, ist von Gemini-Training und Gemini-Antworten ausgeschlossen; die Google-Suche ist nicht betroffen.
Beispiele für robots.txt-Regeln
robots.txt ist eine kleine Textdatei im Root Ihrer Website (visible4ai.com/robots.txt). Crawler lesen sie, bevor sie eine Seite abrufen. Hier sind die zwei häufigen Fälle:
Alle grossen KI-Crawler erlauben
Das ist die sichere Standardeinstellung, wenn Sie in KI-Produkten gefunden werden möchten. Explizite Allow-Regeln machen Ihre Absicht für alle nachvollziehbar, die die Datei später lesen.
# robots.txt — allow major AI crawlers # (Allow: / is also the default when no rules exist; # spelling it out makes intent explicit.) User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / User-agent: bingbot Allow: /
Einen Bot blockieren, den Rest erlauben
Wenn Sie überall sichtbar bleiben möchten ausser bei einer Plattform (häufig weil diese Plattform Ihre Inhalte auch fürs Training nutzt), blockieren Sie diesen spezifischen User-Agent und lassen einen Wildcard-Allow für alle anderen stehen.
# robots.txt — opt one bot out, allow the rest # Useful if you want to stay citable but exclude a specific # crawler from training your own content. User-agent: GPTBot Disallow: / User-agent: * Allow: /
robots.txt ist eine Bitte, keine Durchsetzung. Brav handelnde Crawler (die oben gelisteten) halten sich daran; missbräuchliche Scraper ignorieren sie. Wer echte Blockierung braucht, nutzt serverseitige Regeln (Firewall, Rate Limit oder 403 nach User-Agent).