Web Bot Auth
Eine IETF-Idee, damit Crawler Anfragen kryptografisch signieren, damit man ihnen vertrauen kann.
Besser als User-Agent-Strings. Die Verbreitung braucht Zeit. Bis dahin: IP-Listen.
Wenn es weit verbreitet ist, nutze es. Erfinde keinen eigenen Krypto-Handshake für GPTBot.
Beispiele
- Ein CDN unterstützt signierte Bots. Du blockierst ein Labor nicht mehr, nur weil ein Scraper letztes Jahr deren User-Agent geklaut hat.
Verwandte Begriffe
Bots von Modell-Laboren und Antwort-Engines, die Seiten für Training, Retrieval oder nutzerinitiiertes Lesen abrufen.
robots.txt ist die Datei für Abrufberechtigungen im Stammverzeichnis der Website. KI-Crawler lesen sie ebenfalls. Falsche Konfiguration führt dazu, dass Sie aus dem Training, der Suche oder beidem verschwinden.
Prüfung, ob eine Anfrage, die sich als GPTBot ausgibt, tatsächlich von diesem stammt, über veröffentlichte IP-Bereiche oder signierte Anfragen.
FAQ
Verfügbar heute? +
Achte auf die Doku der Anbieter. Warte nicht, um in der Zwischenzeit robots.txt korrekt einzustellen.
In Reddex tracken
Sehen Sie Reddit-Threads und KI-Antworten zu Ihrer Marke an einem Ort. Starten Sie mit einer kostenlosen Analyse.
Jetzt starten