Zitier-Crawler vs. Trainings-Crawler
Trainings-Bots bauen Gewichte auf. Such-/Zitier-Bots holen Daten für eine aktuelle Antwort. Von Nutzern ausgelöste Bots holen Daten, weil ein Mensch gefragt hat.
Regel sie separat in der robots.txt. Das Vermischen ist der übliche Stolperstein.
User-getriggerte Abrufe können dich trotzdem überlasten. Rate-Limit setzen, ohne die offiziellen IP-Bereiche des Labs zu blockieren.
Beispiele
- Du verbietest GPTBot (Training) und erlaubst OAI-SearchBot. Zitationen in der Suche sind weiterhin möglich. Das Gedächtnis wird aber ungenauer.
Verwandte Begriffe
Bots von Modell-Laboren und Antwort-Engines, die Seiten für Training, Retrieval oder nutzerinitiiertes Lesen abrufen.
OpenAI betreibt mehrere Bots: GPTBot für das Training, OAI-SearchBot für ChatGPT Search und ChatGPT-User für nutzergetriggerte Abrufe.
robots.txt ist die Datei für Abrufberechtigungen im Stammverzeichnis der Website. KI-Crawler lesen sie ebenfalls. Falsche Konfiguration führt dazu, dass Sie aus dem Training, der Suche oder beidem verschwinden.
FAQ
Welcher bringt mir diese Woche Zitationen? +
Citation-/Such-Crawler und Live-Browsing. Training ist ein langsamerer, unschärferer Effekt.
In Reddex tracken
Sehen Sie Reddit-Threads und KI-Antworten zu Ihrer Marke an einem Ort. Starten Sie mit einer kostenlosen Analyse.
Jetzt starten