OpenAI-Crawler
OpenAI betreibt mehrere Bots: GPTBot für das Training, OAI-SearchBot für ChatGPT Search und ChatGPT-User für nutzergetriggerte Abrufe.
Lest den User-Agent. Wenn man „OpenAI“ pauschal erlaubt oder blockiert, kaputt man oft die Suche, während man eigentlich nur aus dem Training aussteigen will.
Verifiziert IPs, wo immer möglich. UA-Spoofing ist ein reales Problem. Siehe Crawler-Verifizierung.
Beispiele
- Die Logs zeigen, dass ChatGPT-User während einer Demo auf /pricing zugreift. Das ist ein Mensch im Prozess, kein Training-Scrape.
Verwandte Begriffe
ChatGPT Search ist die Live-Webrecherche von OpenAI innerhalb von ChatGPT. Es ist etwas anderes als „was GPT über Sie weiß“.
Bots von Modell-Laboren und Antwort-Engines, die Seiten für Training, Retrieval oder nutzerinitiiertes Lesen abrufen.
robots.txt ist die Datei für Abrufberechtigungen im Stammverzeichnis der Website. KI-Crawler lesen sie ebenfalls. Falsche Konfiguration führt dazu, dass Sie aus dem Training, der Suche oder beidem verschwinden.
Trainings-Bots bauen Gewichte auf. Such-/Zitier-Bots holen Daten für eine aktuelle Antwort. Von Nutzern ausgelöste Bots holen Daten, weil ein Mensch gefragt hat.
FAQ
Welchen Bot sollte ich für GEO erlauben? +
Wenn du Zitate in ChatGPT Search willst, erlaube den Search-Bot. Das Training ist eine separate Entscheidung mit rechtlichen und wettbewerbsbezogenen Aspekten.
In Reddex tracken
Sehen Sie Reddit-Threads und KI-Antworten zu Ihrer Marke an einem Ort. Starten Sie mit einer kostenlosen Analyse.
Jetzt starten