Test and Learn

Elaborado por

Jorge Pérez Colín⁠

BDS⁠

a partir del artículo How to

Design Smart Business Experiments de Thomas H. Davenport⁠

Toda solución de analítica aplicada a los negocios requiere de datos para generar modelos predictivos y prescriptivos, donde no solamente more is better, sino también es necesaria la variabilidad, por ejemplo, para calcular elasticidades e.g. elasticidad precio. Desgraciadamente, algunos procesos de negocio no producen naturalmente los datos para contrastar hipótesis y con ello generar los citados modelos.

Test & Learn es un marco de referencia para no sólo generar los datos sino también contrastar la eficiencia de la aplicación de la estadística en la operación de la empresa.

⁠

Fases de un proceso Test and Learn

1. Crea o refina la hipótesis

COMPROBAR que las hipótesis no han sido ya probadas y medidas o si ya envejeció, y que pueden serlo.

ASEGURAR que la hipótesis pueda generar un valor económico sustancial.

DETERMINAR si sugiere una decisión o acción real (si no es así, no vaya más allá).

2. Diseña la prueba

DISEÑAR LA PRUEBA. Asegúrese de que el número de sitios de prueba y control son suficientes para tener significancia estadística.

UTILIZAR la simulación para explorar múltiples estrategias para crear grupos de control (por ejemplo, pueden ser casi idénticos pero diferentes en una variable clave).

EVALUAR si las estrategias del grupo de control utilizadas previamente para pruebas similares serán suficientes; por lo general, lo hacen.

REALIZAR análisis estadísticos para minimizar el número de celdas de prueba necesarias.

EXTENDER el período de prueba si las métricas clave son muy variables.

3. Ejecuta la prueba

REUNIRSE con los gerentes de los sitios de prueba y control y los expertos analíticos para discutir lo que podría salir mal y lo que constituiría eventos de confusión en las pruebas.

INSTRUIR al personal de campo para que informe eventos anormales.

QUITE los sitios de la prueba si se producen eventos que confundan la prueba.

AJUSTAR los planes de evaluación y compensación de los gerentes para que no se vean afectados negativamente por las pruebas.

4. Analiza la prueba

ASEGURAR que la "elevación" de las intervenciones sea estadísticamente significativa.

UTILIZAR software para analizar los resultados y gestionar datos complejos de múltiples sitios de prueba y control.

DETERMINAR la necesidad de realizar más pruebas.

EXAMINAR tantos atributos del sitio como sea posible para ver cómo interactúan las variables clave.

5. Planea el despliegue

ESTUDIAR los sitios de prueba para determinar si la implementación debe ser universal o diferenciada.

EQUILIBRAR la complejidad de la implementación con la facilidad de implementación y administración.

6. Despliega

ESCALONAR el lanzamiento y verlo como una prueba en sí misma. (¿Los sitios de adopción temprana están dando el resultado deseado? Si no es así, modifique el enfoque en sitios de adopción posteriores).

ANIMAR a los administradores de sitios a compartir estrategias y tácticas de implementación

⁠

Biblioteca de aprendizaje

DESARROLLAR un resumen de cada prueba: hipótesis, dimensiones de la prueba, resultados clave, interacciones y estrategias y resultados de implementación.

EMPLEAR la taxonomía empresarial estándar para facilitar la búsqueda en la biblioteca.

HACER que la biblioteca sea ampliamente accesible para los empleados; Dar a conocer las pruebas y los resultados de estudios importantes para fomentar una cultura de prueba y aprendizaje.