En esta unidad te contaremos los diversos escenarios que podemos encontrarnos a la hora de querer parar un test antes de que haya finalizado. ¡Toma buena nota!
En la unidad anterior, compartimos contigo cuáles eran los diferentes tipos de resultados que podíamos obtener con nuestras herramientas de testing a la hora de validar una hipótesis. Sin embargo, pese a que esas herramientas son muy sofisticadas, sus algoritmos matemáticos suelen tardar un tiempo indeterminado en arrojar resultados, de modo que, en ocasiones, nosotros mismos podremos vernos obligados a darle al botón de Stop y detener el test.
Esta duración indeterminada, como imaginas, supone un gran hándicap. En ocasiones, un proyecto CRO no puede esperar eternamente a que se produzcan resultados para poder optimizar sus procesos. Entonces, ¿hay alguna opción de poder reducir ese tiempo de espera? La buena noticia es que sí la hay, la mala es que esa opción comporta un riesgo bastante considerable.
Antes de desarrollar la cuestión anterior, vamos a hablarte sobre un concepto importante que oirás con frecuencia si trabajas con herramientas de testing. Ese concepto es la significancia estadística.
Que nuestros experimentos cuenten con significancia estadística indica que los resultados obtenidos son fiables, y que no son fruto del azar o de factores externos puntuales. Si reprodujéramos el experimento en más ocasiones, los resultados se mantendrían.
La significancia estadística viene representada del 0% al 100%, y cuanto más alto sea el valor, más fiables serán los resultados. Si hablamos de testing, el valor de significancia estadística óptimo es del 95%, que indicaría que nuestros experimentos son fiables.
Pero, llegar a ese nivel no siempre es posible, pues es fundamental tener un volumen de tráfico elevado, lo que supone un verdadero hándicap especialmente para webs o apps con pocas visitas, ya que el tiempo de espera para que el test recoja la muestra suficiente como para que sus resultados sean fiables puede ser muy elevado.
A la hora de querer parar un test sin que este haya finalizado, podemos encontrarnos con dos escenarios:
PRIMER ESCENARIO
Nuestro test A/B todavía no muestra ninguna versión ganadora, y necesitamos tener una respuesta lo antes posible. Consultamos la evolución de los datos, y parece ser que la variante 1 tiene una tendencia creciente, con una significancia estadística del 80%.
Nos vemos tentados a detener el experimento, pero actuamos con cautela y no lo hacemos. Finalmente, después de una semana, el test finaliza y la herramienta certifica que la variante 1 es la ganadora. En este caso, si hubiéramos implementado la variante 1, durante esa semana extra que tardó en finalizar el experimento, habríamos estado generando más resultados.
SEGUNDO ESCENARIO
El otro escenario es el siguiente: detectamos que una variante está registrando mejores resultados y tiene un considerable porcentaje de significancia estadística. Paramos el experimento e implementamos dicha variante, pero, una vez aplicada, vemos que la tendencia cambia y la variante que hemos elegido realmente no nos está reportando los resultados esperados. En ese caso, habremos fallado y disminuido los beneficios.
Ambos escenarios están estrechamente relacionados con el coste de oportunidad. ¿Nuestro consejo? Lo mejor siempre es esperar a que la herramienta dé un veredicto final. Pero si optas por ser tú el que finalice tus test antes de tiempo, ten en cuenta todo lo que ello implica.
Y hasta aquí todo lo que teníamos que contarte sobre cuándo parar un experimento. Sigue con nosotros porque en la siguiente unidad cerramos el bloque de análisis de resultados con una importante reflexión.
