LLM-Evaluierung
Messung der Modellqualität bei Aufgaben. Interne Evaluierungen für Ihren GEO-Klassifizierer sind nützlich. Öffentliche Leaderboards sind nur schwach mit Zitaten korreliert.
Baue eine kleine Eval: Hat die Antwort uns erwähnt, uns zitiert oder uns beleidigt?
Das ist eine Produkt-Eval, kein MMLU.
Beispiele
- Du evaluiest „Hilfsbereitschaft“ und übersiehst, dass 30 % der Antworten eine Konkurrenz-Funktion erfinden.
Verwandte Begriffe
Benchmarks sind Tests für Modellfähigkeiten. Sie sagen Coding und Mathematik besser voraus als, ob Sie für CRM-Software zitiert werden.
Prompt-Tracking bedeutet, einen festen Satz echter Kundenfragen regelmäßig durch KI-Engines zu laufen zu lassen und zu protokollieren, wer genannt wird.
Volatilität misst, wie stark sich die Antwort ändert, wenn man denselben Prompt zweimal stellt. GEO-Berichte, die dies ignorieren, passen sich nur dem Rauschen an.
FAQ
Vendor-Eval vs. GEO-Eval? +
Vendor-Evals wählen Modelle aus. GEO-Evals wählen aus, ob du aufgetaucht bist. Beides, aber andere Dashboards.
In Reddex tracken
Sehen Sie Reddit-Threads und KI-Antworten zu Ihrer Marke an einem Ort. Starten Sie mit einer kostenlosen Analyse.
Jetzt starten