Evaluación de LLM
Medir la calidad del modelo en tareas. Las evaluaciones internas para tu clasificador GEO son útiles. Los tableros de clasificación públicos están débilmente relacionados con las citaciones.
Crea una evaluación pequeña: ¿la respuesta nos mencionó, nos citó o nos insultó?
Eso es una evaluación de producto, no MMLU.
Ejemplos
- Evalúas la "utilidad" y te pierdes que el 30% de las respuestas inventa una función de un competidor.
Términos relacionados
Los benchmarks son pruebas de habilidad del modelo. Predicen mejor la codificación y las matemáticas que si te citan por software CRM.
El seguimiento de prompts consiste en ejecutar un conjunto fijo de preguntas reales de clientes a través de motores de IA según un horario y registrar a quién se nombró.
La volatilidad es cuánto cambia la respuesta cuando se hace el mismo prompt dos veces. Los informes de GEO que la ignoran se ajustan demasiado al ruido.
FAQ
¿Evaluación del proveedor vs. evaluación de GEO? +
Las evaluaciones del proveedor eligen modelos. Las de GEO eligen si apareciste. Ambas, pero con paneles de control distintos.
Síguelo en Reddex
Hilos de Reddit y respuestas de IA sobre tu marca en un solo lugar. Empieza con un análisis gratis.
Empezar