KI-Web-Crawler
Bots von Modell-Laboren und Antwort-Engines, die Seiten für Training, Retrieval oder nutzerinitiiertes Lesen abrufen.
Nenne sie in den Logs. Regle sie in robots.txt einzeln. „AI-Bot“ ist kein User-Agent.
Bandbreite kann teuer werden. Rate Limits für Scraper vs. Allowlists für Labs ist normaler Betrieb.
Beispiele
- ClaudeBot holt /docs nachts. Bytespider holt alles zweimal. Unterschiedliche Antworten sind erlaubt.
Verwandte Begriffe
OpenAI betreibt mehrere Bots: GPTBot für das Training, OAI-SearchBot für ChatGPT Search und ChatGPT-User für nutzergetriggerte Abrufe.
robots.txt ist die Datei für Abrufberechtigungen im Stammverzeichnis der Website. KI-Crawler lesen sie ebenfalls. Falsche Konfiguration führt dazu, dass Sie aus dem Training, der Suche oder beidem verschwinden.
Trainings-Bots bauen Gewichte auf. Such-/Zitier-Bots holen Daten für eine aktuelle Antwort. Von Nutzern ausgelöste Bots holen Daten, weil ein Mensch gefragt hat.
FAQ
Sind sie 95 % des Crawl-Traffics? +
Auf manchen Seiten dominieren AI-Bots. Miss deinen eigenen Traffic. Zitiere nicht die Torte eines anderen als deine eigene.
In Reddex tracken
Sehen Sie Reddit-Threads und KI-Antworten zu Ihrer Marke an einem Ort. Starten Sie mit einer kostenlosen Analyse.
Jetzt starten