SEO Leitfaden

robots.txt

robots.txt ist die Datei für Abrufberechtigungen im Stammverzeichnis der Website. KI-Crawler lesen sie ebenfalls. Falsche Konfiguration führt dazu, dass Sie aus dem Training, der Suche oder beidem verschwinden.

Allow und Disallow sind immer noch die Sprache. User-agent-Gruppen enthalten jetzt GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider und wer auch immer nächste Woche startet.

Training-Bots zu blocken, während man Such-Bots erlaubt, ist eine bewusste Entscheidung. Alles zu blocken und sich zu wundern, warum ChatGPT Search dich nie zitiert, ist ein Eigentor.

robots.txt ist keine Authentifizierung. Clevere Scraper ignorieren sie. Echte Crawler großer Labs halten sich in der Regel daran, weil sie gerne eingeladen bleiben wollen.

Beispiele

  • Ein Publisher Disallowt GPTBot und rankt trotzdem bei Google. Das Gedächtnis von ChatGPT über sie wird wie Milch alt. Erwartbar.
  • Ein SaaS-Unternehmen Disallowt versehentlich /docs für alle Bots. Perplexity zitiert einen gescrapten Spiegel auf einer zufälligen Domain. Datei fixen.

Verwandte Begriffe

Content-Signale (robots)

Vorgeschlagene robots.txt-artige Direktiven für die Nutzung von gecrawlten Inhalten: Suche vs. KI-Eingabe vs. Training.
KI-Web-Crawler

Bots von Modell-Laboren und Antwort-Engines, die Seiten für Training, Retrieval oder nutzerinitiiertes Lesen abrufen.
llms.txt

llms.txt ist eine Markdown-Datei im Wurzelverzeichnis der Website, die KI-Crawlern mitteilt, was die Website ist und welche Seiten sie zuerst lesen sollen. Es ist kein zweites robots.txt mit rechtlicher Bindung.
OpenAI-Crawler

OpenAI betreibt mehrere Bots: GPTBot für das Training, OAI-SearchBot für ChatGPT Search und ChatGPT-User für nutzergetriggerte Abrufe.
Verifizierung von KI-Crawlern

Prüfung, ob eine Anfrage, die sich als GPTBot ausgibt, tatsächlich von diesem stammt, über veröffentlichte IP-Bereiche oder signierte Anfragen.

FAQ

Steuert robots.txt rechtlich die Trainingsrechte? +

Es ist ein technisches Signal, kein Vertrag. Anwälte streiten immer noch über den Rest. Für GEO-Operationen: Nimm an, dass große Bots es befolgen, und plane entsprechend.

Sollte ich alle KI-Bots blocken? +

Nur, wenn du den Kanal verlassen willst. Es gibt keinen geheimen Schalter „Training blocken, Zitate behalten“, der überall funktioniert.

In Reddex tracken

Sehen Sie Reddit-Threads und KI-Antworten zu Ihrer Marke an einem Ort. Starten Sie mit einer kostenlosen Analyse.

Jetzt starten