Calcul au moment du test
Consommer plus de calculs lors de l'inférence pour réfléchir plus longtemps. Modèles de raisonnement. Latence et coût augmentent ; les réponses peuvent devenir plus prudentes.
Votre page doit toujours être récupérée. Une réflexion supplémentaire n'inventera pas une source qui n'a pas été récupérée.
Les utilisateurs n'attendent peut-être pas. Certains produits masquent le processus de réflexion.
Exemples
- Une réponse lente et prudente cite toujours un fil Reddit obsolète parce que la récupération l'a proposé en premier.
Termes associés
L'inférence consiste à exécuter le modèle entraîné pour produire une réponse. Chaque réponse de ChatGPT est une inférence. Cela coûte de l'argent, c'est pourquoi les fournisseurs utilisent la mise en cache et évitent la récupération.
Modèles qui consacrent plus de calcul d'inférence pour réfléchir plus longtemps (série o, R1, etc.). Ils peuvent choisir les sources plus soigneusement — ou suranalyser une anecdote Reddit.
Un modèle de deuxième étape qui réordonne les extraits récupérés avant que le LLM n'écrive. Il faut entrer dans l'ensemble de la première étape, sinon le réordonnancement ne vous verra jamais.
FAQ
Effet sur le GEO ? +
Peut-être moins de recommandations négligées. Ce n'est pas une raison pour retarder la publication de faits.
Suivre cela dans Reddex
Threads Reddit et réponses IA pour votre marque au même endroit. Commencez par une analyse gratuite.
Commencer