Tokens
Die Textschnipsel, für die Sprachmodelle abrechnen und die sie verarbeiten. Kontextfenster werden in Tokens gemessen. Ihre Seite könnte in RAG abgeschnitten werden.
Die Antwort früh liefern. Ein 20k-Token-Wust verliert das Ende.
Token-Kosten sind der Grund, warum Engines cachen und die Abrufung überspringen.
Beispiele
- Der wichtige Hinweis steht ganz unten auf einer riesigen HTML-Seite. Der Chunker hat ihn nie erreicht.
Verwandte Begriffe
Chunking bedeutet, Abschnitte zu schreiben, die noch Sinn ergeben, wenn ein Abrufsystem 100–300 Wörter übernimmt und den Rest der Seite ignoriert.
Inferenz bedeutet, das trainierte Modell auszuführen, um eine Antwort zu erzeugen. Jede ChatGPT-Antwort ist Inferenz. Es kostet Geld, weshalb Anbieter cachen und den Abruf überspringen.
Wie viel Text ein Modell auf einmal berücksichtigen kann. Größere Fenster bedeuten längere Threads und mehr eingefügte Dokumente – einschließlich Ihrer Preispdf.
FAQ
Sind kürzere Seiten immer besser? +
Kürzere Abschnitte. Die Seite kann insgesamt lang sein. Verstecke die Kernaussage nicht.
In Reddex tracken
Sehen Sie Reddit-Threads und KI-Antworten zu Ihrer Marke an einem Ort. Starten Sie mit einer kostenlosen Analyse.
Jetzt starten