La trampa de las métricas de vanidad
Tres indicadores que suelen exhibirse y que no miden lo que dicen medir:
- Número de consultas: un usuario que repite diez veces la misma pregunta porque la respuesta es mala infla el indicador.
- Número de usuarios creados: las cuentas abiertas no dicen nada del uso real.
- NPS sobre la IA: demasiado genérico y demasiado afectado por el efecto novedad.
Estos son los seis KPI que miden el valor real.
1. Adopción activa: usuarios semanales / usuarios creados
Definición. Porcentaje de los usuarios creados que formulan al menos tres preguntas en los últimos siete días.
Umbral sano. > 60 % a los tres meses, > 70 % a los seis meses.
Diagnóstico. Por debajo del 50 % a los tres meses, el uso es superficial: revisar el onboarding y comprobar si el asistente es más rápido que las herramientas existentes.
2. Precisión medida: % de respuestas correctas en pruebas
Definición. Sobre una batería estable de 30 a 50 preguntas de prueba, el porcentaje de respuestas consideradas correctas por un referente de negocio.
Umbral sano. > 90 % en producción estable.
Diagnóstico. Por debajo del 85 %, hay un problema en la documentación fuente o en la configuración. Vea Una buena documentación hace un buen asistente.
3. Cobertura documental: % de preguntas con respuesta “no lo sé”
Definición. Porcentaje de consultas en las que el asistente indica que no puede responder.
Umbral sano. Entre el 5 % y el 15 % en régimen normal. Por debajo, el asistente probablemente esté inventando (alucinaciones). Por encima, la base es demasiado pobre para los usos reales.
4. Tiempo ahorrado: valorado en horas y en euros
Definición. Horas ganadas por usuario y por semana en las tareas cubiertas (búsqueda, redacción, síntesis), valoradas al coste horario cargado.
Método de medición. Encuesta trimestral a un panel de 10-15 usuarios: “sobre las preguntas que ha planteado al asistente esta semana, ¿cuánto tiempo habría tardado sin él?”.
Umbral sano. 3 a 8 horas por usuario y semana para casos de uso moderados. Más para los casos intensivos (jurídico, soporte, doctrina).
5. Descarga: % de peticiones interceptadas antes de llegar al humano
Definición. Para los asistentes abiertos al gran público o al soporte: porcentaje de peticiones tratadas en su totalidad por el asistente, sin escalado a un agente.
Umbral sano. Entre el 50 % y el 75 % según el alcance. Más abierto = descarga menor.
6. Satisfacción de los usuarios: feedback estructurado, no NPS genérico
Definición. Tres preguntas breves, formuladas al final de una conversación sobre el 10 % del tráfico:
- ¿Le ha resultado útil esta respuesta? (sí/no)
- ¿Ha ahorrado tiempo? (1 a 5)
- ¿Recomendaría este asistente? (1 a 10)
Umbral sano. > 80 % de respuestas útiles, > 4/5 en ahorro de tiempo, > 8/10 en la recomendación.
Para el cálculo del ROI a partir de estos indicadores, vea Calcular y maximizar el ROI.
Veinte minutos para identificar los seis KPI adecuados a su caso, su frecuencia de medición y sus umbrales de alerta. Le entregamos la plantilla lista para usar.
Reservar demo→