Cómputo en tiempo de prueba
Gastar más cómputo en la inferencia para pensar más tiempo. Modelos de razonamiento. La latencia y el costo suben; las respuestas pueden ser más cuidadosas.
Tu página aún tiene que ser recuperada. Pensar más no inventará una fuente que no se haya obtenido.
Los usuarios pueden no esperar. Algunos productos ocultan el proceso de pensamiento.
Ejemplos
- Una respuesta lenta y cuidadosa aún cita un hilo antiguo de Reddit porque la recuperación lo propuso primero.
Términos relacionados
La inferencia es ejecutar el modelo entrenado para producir una respuesta. Cada respuesta de ChatGPT es inferencia. Cuesta dinero, por lo que los proveedores usan caché y omiten la recuperación.
Modelos que gastan más cómputo de inferencia para pensar más tiempo (serie o, R1, etc.). Pueden elegir fuentes con más cuidado — o sobreanalizar una anécdota de Reddit.
Un modelo de segunda etapa que reordena los fragmentos recuperados antes de que el LLM escriba. Necesitas entrar en el conjunto de la primera etapa o la reclasificación nunca te verá.
FAQ
¿Efecto en GEO? +
Posiblemente menos recomendaciones descuidadas. No es una razón para retrasar la publicación de hechos.
Síguelo en Reddex
Hilos de Reddit y respuestas de IA sobre tu marca en un solo lugar. Empieza con un análisis gratis.
Empezar