Évaluation des LLM
Mesurer la qualité du modèle sur des tâches. Les évaluations internes pour votre classifieur GEO sont utiles. Les classements publics publics sont faiblement liés aux citations.
Créez une petite évaluation : la réponse nous a-t-elle mentionnés, cités, ou insultés ?
C'est une évaluation produit, pas du MMLU.
Exemples
- Vous évaluez l'« utilité » et ratez le fait que 30 % des réponses inventent une fonctionnalité concurrente.
Termes associés
Les benchmarks sont des tests de compétences des modèles. Ils prédisent mieux le codage et les mathématiques que la probabilité d'être cité pour un logiciel CRM.
Le suivi des prompts consiste à exécuter un ensemble fixe de questions réelles de clients via des moteurs IA selon un calendrier et à consigner qui a été nommé.
La volatilité mesure à quel point la réponse varie lorsque l'on pose la même invite deux fois. Les rapports GEO qui l'ignorent s'ajustent au bruit.
FAQ
Évaluation fournisseur vs évaluation GEO ? +
Les évaluations fournisseurs servent à choisir les modèles. Les évaluations GEO servent à vérifier si vous êtes apparu. Les deux, mais avec des tableaux de bord différents.
Suivre cela dans Reddex
Threads Reddit et réponses IA pour votre marque au même endroit. Commencez par une analyse gratuite.
Commencer