Puede descargar este artículo aquí.
Ahora que hemos superado las objeciones típicas a las pruebas (esperemos que le persuada de los muchos beneficios importantes de las pruebas para mejorar sus decisiones de negocios a lo largo del camino), en esta última entrega de la serie vamos a considerar brevemente el papel de varios factores clave en la implementación exitosa de las pruebas dentro de cualquier negocio.
En términos generales, las tres etapas de las pruebas son las siguientes:
- Diseño
- Ejecución
- Análisis
No revisaremos exhaustivamente cada una de estas etapas, sino que nos enfocamos únicamente en elementos específicos que son particularmente importantes para el éxito y que la experiencia sugiere que son aquellos elementos que con mayor frecuencia se pasan por alto o se implementan incorrectamente. Los pasos descritos aquí también son compatibles con enfoques más exhaustivos de los proyectos de análisis en general, como el proceso CRISP-DM, y muchos equipos de análisis tendrán un flujo de proceso estándar. Estos son simplemente los elementos conceptuales más importantes que cualquier flujo de proceso debe incorporar.
1-diseño
En la fase de diseño de prueba, es fundamental comenzar definiendo claramente la pregunta empresarial específica que desea que responda antes de configurar la prueba. Cuanto más específico pueda ser, mejor. Como ya se mencionó, la implicación del personal de análisis de negocios durante la fase de diseño es muy importante para asegurar que la prueba esté estructurada de una manera que permita responder a la pregunta deseada con la mayor probabilidad de éxito. Los analistas podrán ayudar a determinar cuán grande debe ser la prueba, cuánto tiempo debe programarse para ejecutarse, cómo se deben dibujar las muestras y otros puntos técnicos que son importantes para realizar pruebas exitosas.
Si bien el personal de operaciones no suele ser el más adecuado para el diseño de pruebas, generalmente es aconsejable incluir al personal operativo que será responsable de implementar una prueba antes de que finalice la fase de diseño, ya que puede haber consideraciones que influiría en el diseño de las pruebas. Es una pérdida de tiempo para diseñar pruebas que no se pueden implementar correctamente debido a restricciones operativas, por lo que incluir recursos relevantes en la etapa de diseño minimizará estos sucesos. Parte de la fase de diseño de las pruebas es el desarrollo de un plan de acción detallado para definir roles y responsabilidades. Identificar a alguien de la organización que va a asumir la responsabilidad operativa para asegurarse de que la prueba se implementa correctamente es clave. Los analistas pueden diseñar pruebas, pero rara vez son los recursos que se ponen a cargo de la ejecución de las pruebas. Si estos dos grupos están fuera de alineación, el error de prueba es inminente.
Parte del diseño de cualquier prueba también debe ser una estimación del presupuesto de pruebas. Como ya se ha descrito, el presupuesto de la prueba debe tener dos componentes: los costes directos y los indirectos. Calcular la cantidad de la prueba que va a costar directamente a la organización en términos de costos de implementación marginales suele ser bastante sencillo (aunque Recuerde que algunas pruebas pueden resultar en costos marginales más bajos que BAU). Se añaden a estos costos debe ser cualquier costo de mano de obra incremental, costos de configuración, costos de datos u otros elementos que se encontraban fuera del presupuesto operativo ordinario. Sin embargo, es importante analizar los resultados de las pruebas para poder separar los costos de una sola vez asociados con la prueba de los costos continuos asociados con la táctica correspondiente. Por ejemplo, la prueba de sobres verdes cuando los sobres rojos son BAU puede resultar en costos unitarios más elevados para los sobres verdes durante la prueba, ya que se producen en cantidades más bajas. Pero si los sobres verdes fueran adoptados como la táctica BAU y producidos en volúmenes más altos, entonces costarían lo mismo que los sobres rojos actuales, por lo que esas diferencias de coste no serían relevantes para la comparación entre los resultados del sobre rojo y verde. Sólo se deben incorporar en el análisis de resultados las diferencias de coste entre tratamientos que quedarían incluso si el tratamiento de prueba se hubiera desplegado a escala completa.
Para los costos indirectos de las pruebas, es probable que la estimación sea el único método disponible. Las suposiciones sobre el valor de las tácticas de BAU necesitarán ser empleadas para cuantificar las desviaciones de esas tácticas. Por ejemplo, usted podría concluir (sobre la base de pruebas previas) que la táctica BAU de enviar un catálogo 4 veces al mes produce un ingreso de $12 por pieza enviada por correo, o $48 por cliente por mes. Usted estima de antemano que el escenario alternativo de correo sólo 3 veces al mes dará lugar a un valor de $15 por pieza enviada por correo, o $45 por cliente por mes. Por lo tanto, la diferencia-$3 en los ingresos mensuales por cliente se multiplicaría por el número de clientes en los tiempos de prueba el número de meses sobre los que se ejecutaría la prueba para estimar el costo de oportunidad de la prueba. Por supuesto, el grupo de prueba probablemente tendría un ahorro asociado de impresión, procesamiento y envío de más de $3 por cliente al mes (el "costo" directo de la prueba) por lo que el pronóstico del impacto de la prueba sería positivo en general.
En muchos contextos, estimar el costo de oportunidad con cualquier precisión será casi imposible, por lo que desarrollar una gama probable de resultados y luego realizar análisis de sensibilidad o simulaciones Monte Carlo para estimar el impacto ayudará a guiar el presupuesto proceso a lo largo. En última instancia, el objetivo es desarrollar un presupuesto de pruebas integrado que incorpore los costos directos e indirectos de las pruebas, y compare eso con un beneficio proyectado resultante del tratamiento alternativo propuesto en la prueba. En general, a menos que exista un escenario plausible a través del cual la prueba conduzca a una mejora en los resultados de las empresas, obteniendo mejores resultados a costos comparables, o resultados comparables a mejores costos, entonces no hay razón para perseguir que prueba particular para el negocio.
2-ejecución
Asegúrese de que todos los involucrados en la ejecución de cualquier prueba entienden lo que se está probando y por qué. Esto es particularmente importante si parte de la prueba involucra un tratamiento que podría considerarse "subóptimo" por los implicados, o si la implementación de la prueba está mediada a través del contacto humano (por ejemplo, representantes de servicio al cliente). No desea que el personal cambie los tratamientos basándose en su propio criterio de lo que es "mejor" y, por lo tanto, invalidando los resultados del examen. Normalmente, una vez que se ha informado al personal pertinente del propósito de la prueba, se pueden contar para apoyarlo, especialmente si se limita a un subconjunto de clientes y solo se ejecuta durante un período de tiempo especificado.
El otro punto esencial durante la ejecución de cualquier prueba es que la captura de datos asociada es precisa y completa. Si diseña y ejecuta pruebas sin problemas, pero no recopila los datos pertinentes, ¡ no aprenderá nada en la conclusión! Parte del trabajo de recolección de datos se debe hacer realmente durante la fase de diseño para asegurar que los elementos de datos importantes se identifican de antemano y se han realizado las disposiciones adecuadas para su captura. A continuación, antes de la fase de ejecución, compruebe que los datos se recopilan de la manera esperada.
La mayoría de los buenos diseños de pruebas abarcan un cierto grado de pruebas activas (pruebas estructuradas) y pruebas pasivas (aprendizaje de back-end) para permitir que el negocio responda a muchas preguntas diferentes a través de la misma prueba. Un ejemplo de prueba pasiva es la recopilación de elementos de datos que no están directamente relacionados con el diseño de la prueba, pero que permiten la segmentación de los resultados de la prueba en el back-end para determinar si los resultados difieren en varios segmentos de clientes. Con un gran número de tales elementos potenciales, se podría utilizar una sola prueba para examinar muchos esquemas de segmentación posibles diferentes de la base de clientes. En algunos casos, el esquema de segmentación es esencial para el diseño de la prueba, y los grupos se estratifican de antemano de acuerdo con estos atributos para alcanzar los objetivos de tamaño y representación. Pero en muchos otros casos, los resultados se dividirán más adelante en función de los otros atributos de datos que están disponibles para determinar si hay patrones o resultados interesantes.
Así que la recomendación final en esta área es que si tienes dudas, recoge los datos. En el mundo empresarial actual, la mayoría de la recopilación de datos se puede automatizar (en lugar de basarse en procesos manuales) y el almacenamiento de datos es barato, por lo que es mejor tener demasiados datos que demasiados pocos datos.
3-Análisis
Después de completar una prueba y de recopilar todos los datos, será el momento de que los analistas se vuelvan a hacer cargo del proyecto. Sin embargo, asegúrese de que los analistas que realizan el análisis de resultados cuantitativos estén muy familiarizados con el diseño y los propósitos de la prueba original; Idealmente, son las mismas personas. Puede haber todo tipo de idiosincrasias en el diseño de pruebas, como el uso de muestreo estratificado, y la falta de tomar en cuenta estos factores puede conducir a resultados que no tienen sentido o (peor aún) simplemente mal.
Al analizar y presentar los resultados de las pruebas, asegúrese de que la organización esté centrada en las cosas correctas. Los analistas naturalmente quieren pasar mucho tiempo revisando la metodología y las complejidades del trabajo técnico, pero estos no son muy importantes para los usuarios de negocios. Suponiendo que tiene un personal de análisis capaz y los procesos de control de calidad adecuados en su lugar, estos problemas se pueden dejar en segundo plano. Usted no necesita ser un mecánico o entender todos los detalles de la ingeniería de automóviles para conducir su coche, sólo tiene que confiar en que la persona que puso el coche juntos era competente. Del mismo modo, usted no necesita ser un estadístico para ver los resultados de las pruebas, siempre y cuando usted tiene una confianza que puede dar fe de los detalles detrás de los resultados.
Dicho esto, deje que sus estadísticos o analistas entrenados ayuden a guiar su interpretación de los resultados. Los resultados de las pruebas normalmente no proporcionan respuestas en términos en blanco y negro. Proporcionan respuestas en términos de probabilidad y probabilidades—a veces su prueba proporciona sólo pruebas débiles de que una estrategia es mejor que otra, y su personal de análisis será capaz de ayudarle a entender lo que significan los resultados. El uso de los resultados de las pruebas para ayudar a tomar decisiones de negocios con regularidad también cultivará el hábito de pensar en términos de intervalos de confianza e incertidumbre, que es probablemente una formación útil en cualquier contexto de toma de decisiones.
Finalmente, encuadrar los resultados de la prueba en términos de qué cambios en la empresa se aplicarían si se aplicaron los resultados de la prueba. Cuantificar, siempre que sea posible, pero al hacerlo, asegúrese de incorporar costes persistentes, pero ignore los costos asociados sólo con la implementación limitada de la propia prueba (como se describe en el ejemplo anterior de diferencias de coste de envolvente).
Seguir estas sencillas pautas ayudará a garantizar que su organización obtenga el máximo provecho de las pruebas y puede usar las pruebas como una poderosa herramienta para impulsar el éxito empresarial.