En esta ocasión, toca repasar los KPI más utilizados en Testing. Es importante medir, para saber los resultados de nuestro testing, de la calidad de nuestro desarrollo y sobre todo para implantar procesos de mejora continua de resultados. Para ello, existen múltiples KPI que puedes emplear. De todos ellos, en este post te enumero lo que considero principales para iniciar la medición de tus resultados.
Comenzamos.
Índice de contenidos
KPI más utilizados en Testing de Casos de prueba
Cobertura de pruebas
En primer lugar, voy a revisar uno de los KPI principales. ¿Cuál es la cobertura de pruebas de nuestro plan de pruebas? ¿Cuántos requisitos se han cubierto del total de requerimientos? Es algo imprescindible para asegurar la calidad del software. Para calcularlo debes aplicar la siguiente fórmula.
Cobertura de requisitos = (Número de requisitos cubiertos / Número total de requisitos) x 100
Pruebas creadas
Para este indicador, se debe contabilizar el total de pruebas creadas frente a las que se han planificado crear. Por tanto, conocerás el avance en el diseño de pruebas y podrás evaluar si se llegará a tiempo para finalizar el diseño en la fecha comprometida. En esta circunstancia, debes tener en cuenta que no siempre el diseño de un plan de pruebas es línea. Al contrario, normalmente al principio es más costoso el diseño de los casos, y tal como se avanza en la tarea se requiere de menos tiempo para completar el resto de los diseños.
Pruebas creadas = (Número de casos diseñados / Total de casos a diseñar) x 100
Eficacia de los casos de prueba, uno de los KPI más utilizados en Testing
En tercer lugar, tenemos el KPI de la eficacia de los casos de prueba. Gracias a él puedes conocer la efectividad de los casos ejecutados para cada una de las fases de prueba. También, te ayudará a identificar la calidad de los casos de prueba. Gracias a esta información se pueden aplicar mejoras en los diseños de los planes de pruebas para que cada vez sean más completos.
Después de eso, si revisamos la eficacia de los casos de pruebas, de acuerdo a los distintos niveles: Lo normal es encontrar bastantes defectos en las pruebas unitarias, un conjunto menor en las pruebas de integración y de sistemas. Y por supuesto, que en las pruebas de aceptación el número de defectos encontrados debe ser mínimo o nulo.
Eficacia de los casos de prueba = (Número de defectos detectados / Número de casos de prueba ejecutados) x 100
Ejecución de pruebas: KPI más utilizados en Testing
Cobertura de Ejecución de pruebas
En el grupo de KPI, que dan una pista de cómo van las ejecuciones, se encuentra en primer lugar la cobertura de ejecución de pruebas. Gracias a este KPI puedes saber cuál es el recorrido de la ejecución de pruebas. No sabrás cuál es el avance real, pero si tendrás una foto clara de «por donde se ha pasado y por donde no».
¿Qué valor los aporta? Pues en un primer punto, podremos saber, por ejemplo, donde hay más concentración de defectos en un momento puntual. O, en un segundo punto, que ciclos o bloques funcionales están cerrados. Después de eso, se podrán tomar decisiones a la hora de desacoplar alguna funcionalidad de un evolutivo o correctivo que no está lo suficiente maduro, o reforzar al equipo para que se finalice la correcta implementación en tiempo y forma.
Cobertura de ejecución de prueba = (Número de casos de pruebas ejecutados / Número total de casos de prueba planificados) x 100
Cobertura de Casos de prueba pasados , la estrella de los KPI más utilizados en Testing
Con este KPI, se puede saber el avance del plan de pruebas y qué cerca (o lejos) se está de finalizar una fase de pruebas. Sobre todo, tendrás una idea clara de si se sigue la planificación o no. Pero, además, si se enriquece separando los casos de pruebas por criticidad, tendrás las herramientas necesarias para tomar buenas decisiones. En otras palabras, aporta un valor extra si mides, por ejemplo, Cobertura de ejecución de pruebas de Casos prioridad Alta, Cobertura de ejecución de pruebas de Casos prioridad Media y Cobertura de ejecución de pruebas de Casos prioridad Baja. En conclusión, este es uno de las estrellas de los KPI más utilizados en Testing.
Cobertura de casos de prueba aprobados = (Número de pruebas ok / Número total de pruebas ejecutadas) x 100
Cobertura de Casos de prueba Fallados
En este párrafo, se revisará la cobertura de casos de prueba con KO. En otras palabras, cuál es el número de casos de prueba que han tenido KO al menos una vez durante la ejecución de un nivel de pruebas. Gracias a este KPI, puedes tener una idea de la calidad del software desarrollado. De esta forma: a menos valor, mejor será la calidad del producto entregado. Por tanto, este KPI se suele utilizar en niveles de prueba de aceptación, aunque también tiene sentido para pruebas integradas, para medir el nivel de desarrollo que tiene un software antes de ser entregado al equipo de testing.
Cobertura de casos de prueba fallados = (Número de pruebas KO/ Número total de casos de prueba fallidos) x 100
KPI más utilizados en Testing de Defectos
Porcentaje de Defectos reparados
En primer lugar, en el bloque de KPI asociados a defectos, se va a revisar el porcentaje de defectos resueltos. Este KPI te ayuda a saber cuál es el ritmo de resolución de defectos y para conocer la cantidad de casos bloqueados a espera de resolución. Por tanto, este dato se suele calcular día a día y aumenta progresivamente hasta llegar al 100%. Además, tiene sentido contabilizar este porcentaje por las diferentes asignaciones que puedan tener dentro del equipo. Por ejemplo, porcentajes de defectos reparados de maquetación o porcentaje de defectos reparados de KO funcionales, etc.
Porcentaje de Defectos reparados = (Nº de defectos reparados / Número total de defectos detectados) x 100
Porcentaje de defectos críticos
Es importante llevar un registro catalogado los defectos encontrados en las pruebas de software por su criticidad. De esta forma, se dispone de una pila de tareas priorizadas. Con lo cual el equipo de desarrollo puede volcar sus esfuerzos y enfocarse en lo relevante. Por ejemplo, podemos utilizar las siguientes niveles de criticidad: defectos menores, defectos mayores y defectos críticos. ¿Cuál es un buen dato para esta métrica? Los defectos críticos no debe superar el 20%.
Porcentaje de Defectos críticos = (Nº de Defectos críticos / Total de defectos reportados) x 100
Tasa de éxito de resolución de defectos
En penúltimo lugar, tienes a la tasa de éxito de resolución de defectos. Es común, en los equipos de desarrollo, que un mismo defecto se reabra varias veces dentro del proceso de pruebas. Porque no se ha entendido bien el defecto, porque no se ha conseguido replicar, porque no se ha aplicado bien la corrección, por errores de progresión o regresión. Del mismo modo, esto implica una cantidad considerable de reejecuciones. Esta situación puede ocasionar retrasos en la planificación: la finalización en la ejecución de una suite o nivel de pruebas, retrasos en pasos a producción, incumplir los compromisos con tu cliente. En consecuencia, para saber cuantificar cuál es la eficacia en la resolución de estos datos, se calcula la tasa de éxito de resolución de defectos. Este KPI te indica la cantidad de defectos resueltos frente a los reabiertos. Si no se reabre ninguno obtendremos un 100% de defectos resueltos con éxito.
Tasa de éxito de la resolución de defectos = [(Nº total de defectos solucionados) – (Nº total de defectos reabiertos) / (Número total de defectos solucionados)] x 100
Relación de calidad , uno de los KPI más utilizados en Testing
Lamentablemente, este KPI no está muy extendido, sin embargo, aporta mucho valor y te ayuda a saber cuál es la eficacia del Equipo. Es necesario conocer la relación de calidad, de cada jornada o periodo de pruebas para atacar el foco de los problemas que nos retrasan y aplicar las correcciones necesarias para desechar trabas. En otras palabras, este KPI nos indica cuanto ejecutamos, y cuando re-ejecutamos de forma indirecta. Como hemos visto antes. Como bien sabes, un porcentaje alto de reejecuciones conlleva a un mayor tiempo dedicado al proyecto dedicado a:
- La propia ejecución del caso,
- El registro de defectos,
- La búsqueda de nuevos datos que sustituyen los quemados.
Por ello es importante contabilizar este KPI, y hacer un seguimiento de los puntos que empeoren su resultado. A mayor es el dato, mejor es la relación de calidad de nuestro proceso de desarrollo y pruebas.
Relación de calidad = (Casos de prueba ok / Nº total de casos de prueba ejecutados) x 100
Conclusión: Mejorarás tus resultados midiendo los KPI más utilizados en Testing
Si quieres que tu trabajo, el de tu equipo y el de tu empresa u organización mejore, utiliza los KPI más utilizados en Testing y empieza a medir tus resultados. Has podido conocer KPI aplicados al diseño, ejecución y seguimiento de defectos. Empieza a medir, y analiza los datos. Después de eso, también deberás identificar los puntos a corregir e implantar medidas correctivas. Pero recuerda, que si no empiezas midiendo no podrás cuantificar en qué medida empeoran o mejoras los resultados.
Para más información puedes consultar un post muy completo donde se enumeran muchísimos más KPI: TjinkSys.
¿Te ha gustado el post? ¿Echas en falta algún KPI imprescindible? Déjame un comentario y hablamos sobre ello. O si lo deseas también puedes suscribirte al blog para estar al tanto de todas las novedades.
