Verifizierung von KI-Crawlern
Prüfung, ob eine Anfrage, die sich als GPTBot ausgibt, tatsächlich von diesem stammt, über veröffentlichte IP-Bereiche oder signierte Anfragen.
Gefälschte User-Agents gibt es. Rate-Limit für unbekannte „GPTBot“-Anfragen von Consumer-IPs setzen. Die echten Bereiche nicht versehentlich blockieren.
Web Bot Auth ist die langfristigere Lösung.
Beispiele
- Ein Scraper nutzt den User-Agent GPTBot von einer Cloud-VM, die nicht auf der OpenAI-Liste steht. Du gibst 403 zurück. Gut so.
Verwandte Begriffe
Bots von Modell-Laboren und Antwort-Engines, die Seiten für Training, Retrieval oder nutzerinitiiertes Lesen abrufen.
robots.txt ist die Datei für Abrufberechtigungen im Stammverzeichnis der Website. KI-Crawler lesen sie ebenfalls. Falsche Konfiguration führt dazu, dass Sie aus dem Training, der Suche oder beidem verschwinden.
Eine IETF-Idee, damit Crawler Anfragen kryptografisch signieren, damit man ihnen vertrauen kann.
FAQ
Wo findet man die IP-Listen? +
Die Anbieter veröffentlichen sie. Sie ändern sich. Den Abruf automatisieren; nicht ewig einen Gist aus 2024 kopieren.
In Reddex tracken
Sehen Sie Reddit-Threads und KI-Antworten zu Ihrer Marke an einem Ort. Starten Sie mit einer kostenlosen Analyse.
Jetzt starten