KI-Bot-Zugang

Wenn ein Bot in robots.txt blockiert ist, kann diese Plattform Ihren Content nicht crawlen und zitieren. Stellen Sie sicher, dass diese Crawler für KI-Sichtbarkeit erlaubt sind:

Einige Crawler werden nur für Training verwendet (z.B. CCBot). Das Blockieren von Training-only-Crawlern beeinflusst nicht die Live-Suche/Zitation; das Blockieren der obigen Bots schon.

Beispiele für robots.txt-Regeln

robots.txt ist eine kleine Textdatei im Root Ihrer Website (visible4ai.com/robots.txt). Crawler lesen sie, bevor sie eine Seite abrufen. Hier sind die zwei häufigen Fälle:

Alle grossen KI-Crawler erlauben

Das ist die sichere Standardeinstellung, wenn Sie in KI-Produkten gefunden werden möchten. Explizite Allow-Regeln machen Ihre Absicht für alle nachvollziehbar, die die Datei später lesen.

# robots.txt — allow major AI crawlers
# (Allow: / is also the default when no rules exist;
#  spelling it out makes intent explicit.)

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: bingbot
Allow: /

Einen Bot blockieren, den Rest erlauben

Wenn Sie überall sichtbar bleiben möchten ausser bei einer Plattform (häufig weil diese Plattform Ihre Inhalte auch fürs Training nutzt), blockieren Sie diesen spezifischen User-Agent und lassen einen Wildcard-Allow für alle anderen stehen.

# robots.txt — opt one bot out, allow the rest
# Useful if you want to stay citable but exclude a specific
# crawler from training your own content.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

robots.txt ist eine Bitte, keine Durchsetzung. Brav handelnde Crawler (die oben gelisteten) halten sich daran; missbräuchliche Scraper ignorieren sie. Wer echte Blockierung braucht, nutzt serverseitige Regeln (Firewall, Rate Limit oder 403 nach User-Agent).