Content-Signale (robots)
Vorgeschlagene robots.txt-artige Direktiven für die Nutzung von gecrawlten Inhalten: Suche vs. KI-Eingabe vs. Training.
Früh und ungleichmäßig unterstützt. Lohnt sich trotzdem, es im Blick zu behalten, wenn ihr ein Rechts- oder Policy-Team habt.
Bis die Adoption real ist, bleiben die User-Agents in der robots.txt der praktische Schalter.
Beispiele
- Ein Publisher setzt search=yes, train=no. Manche Labs respektieren das, manche nicht, manche haben noch nie davon gehört.
Verwandte Begriffe
llms.txt ist eine Markdown-Datei im Wurzelverzeichnis der Website, die KI-Crawlern mitteilt, was die Website ist und welche Seiten sie zuerst lesen sollen. Es ist kein zweites robots.txt mit rechtlicher Bindung.
robots.txt ist die Datei für Abrufberechtigungen im Stammverzeichnis der Website. KI-Crawler lesen sie ebenfalls. Falsche Konfiguration führt dazu, dass Sie aus dem Training, der Suche oder beidem verschwinden.
Rechtliche/technische Flags, die Text- und Daten-Mining-Rechte vorbehalten. EU-geprägt. Teilweise Crawler-Unterstützung.
FAQ
Ersetzt es robots.txt? +
Nein. Eher ergänzend. Haltet die alte Datei korrekt.
In Reddex tracken
Sehen Sie Reddit-Threads und KI-Antworten zu Ihrer Marke an einem Ort. Starten Sie mit einer kostenlosen Analyse.
Jetzt starten