Tokens
Les fragments de texte que les modèles facturent et traitent. Les fenêtres de contexte sont en tokens. Votre page pourrait être tronquée dans RAG.
Mettez la réponse au début. Un pavé de 20k tokens perd sa fin.
Le coût en tokens est la raison pour laquelle les moteurs mettent en cache et sautent la récupération.
Exemples
- L'avertissement important est tout en bas d'une immense page HTML. Le découpeur ne l'a jamais atteint.
Termes associés
Le découpage consiste à rédiger des sections qui ont toujours du sens si un récupérateur extrait 100 à 300 mots et ignore le reste de la page.
La quantité de texte qu'un modèle peut considérer à la fois. Des fenêtres plus grandes signifient des fils plus longs et plus de documents collés — y compris votre PDF de tarification.
L'inférence consiste à exécuter le modèle entraîné pour produire une réponse. Chaque réponse de ChatGPT est une inférence. Cela coûte de l'argent, c'est pourquoi les fournisseurs utilisent la mise en cache et évitent la récupération.
FAQ
Des pages plus courtes sont-elles toujours meilleures ? +
Des sections plus courtes. Le site peut rester long. Ne cachez pas l'essentiel.
Suivre cela dans Reddex
Threads Reddit et réponses IA pour votre marque au même endroit. Commencez par une analyse gratuite.
Commencer