Puede descargar este artículo aquí.

Ahora que hemos introducido la idea de probar y considerado la objeción más fundamental a su uso, consideraremos un conjunto de otras objeciones que se utilizan comúnmente cuando se discute contra la necesidad de pruebas. Estas objeciones giran en gran medida en torno a las dos dificultades percibidas de los gastos y la incertidumbre. Al igual que muchas objeciones, a menudo hay un grano de verdad en el núcleo, pero a través de una investigación más detallada de estas afirmaciones, consideraremos si realmente constituyen fallas fatales contra las pruebas.

Objeción #2. Si no puedo controlarlo todo, entonces las pruebas no valen nada.

Esta es una falacia muy común, pero en su núcleo, es principalmente un artefacto de diferencias en el uso del lenguaje entre los estadísticos profesionales y otros. Cuando los analistas o estadísticos hablan de controlar los factores externos (a veces llamados "factores exógenos"), no necesariamente significan que todos los grupos de prueba estén siendo tratados exactamente igual con respecto a todo lo demás, excepto el tratamiento específico que se está probando. Esto es imposible de hacer, y si realmente se requiere para generar resultados válidos, entonces la prueba tendría un valor limitado de hecho! Lo que se entiende por controlar otros factores es que cualesquiera que sean esos factores, tienen un impacto comparable o equivalente en los grupos que se comparan dentro de una prueba. Por ejemplo, podría estar ejecutando varias promociones para un sitio web, ofreciendo a algunos clientes de alto valor el envío gratuito en sus pedidos, mientras que otros no reciben la oferta. A continuación, decide probar el envío de un correo electrónico adicional para resaltar un nuevo producto. Así que se identifica el grupo de clientes a los que desea enviar este correo electrónico adicional, y luego dividir esa población en dos grupos, uno que recibirá el nuevo correo electrónico, y uno que no lo hará. Siempre y cuando sus dos grupos de prueba hayan sido seleccionados correctamente (principalmente a través de un proceso aleatorio), entonces tendrán una proporción casi igual de clientes que también están recibiendo la oferta de envío gratis. Por lo tanto, cuando termine de comparar el grupo que recibió el nuevo correo electrónico del producto al que no lo hizo, entonces el impacto de la oferta de envío gratuito será comparable entre los dos grupos y no sesgar el análisis en ninguna dirección. (Por supuesto, si usted ha estado escuchando el Consejo en este whitepaper, también estaría probando la oferta de envío gratuito en lugar de simplemente ofrecelo a todo el mundo que usted piensa que debería conseguirlo!) Esta misma lógica se sostiene para cualquier combinación de factores externos: siempre que el impacto sea comparable entre los grupos de pruebas, entonces no deben afectar a la capacidad de obtener buenos resultados de la prueba en cuestión.

Un corolario importante a esta objeción es que usted necesita estructurar las pruebas de una manera que permita que la influencia de estos factores externos sea minimizada. Principalmente, esta es una función de dos variables: el tamaño de la prueba y la longitud de la prueba. Las pruebas deben ser lo suficientemente grandes como para que las diferencias idiosincráticas entre los grupos no se muestren como diferencias que se atribuiría a la propia prueba. Todas las pruebas deben diseñarse para proporcionar resultados de los cuales se pueden extraer conclusiones significativas—que es lo mismo que decir que los resultados deben conducir a resultados que son mejores que adivinar! Para hacerlo correctamente se requiere el análisis de problemas relacionados con el tamaño de la muestra, la varianza, la potencia estadística y los valores de probabilidad o intervalos de confianza. Dado que esto no es un documento técnico, no vamos a entrar en los detalles de cómo se calculan estos factores o las compensaciones entre ellos. Baste decir que es fundamental consultar con estadísticos capacitados al diseñar pruebas para asegurarse de que están optimizados para permitir que se dibujen estos tipos de conclusiones significativas. Incluso el estadístico más talentoso del mundo no puede reparar el daño si sólo se dan resultados después del hecho y se les pide sacar conclusiones, si el diseño original de la prueba fue defectuoso.

Las pruebas también deben ejecutarse el tiempo suficiente para generar datos robustos. Esto es más que sólo acumular suficientes recuentos; también se trata de permitir minimizar la influencia de los factores exógenos. Cuanto más corto sea el período de tiempo de la prueba, más probable es que alguna aberración en un factor externo pueda afectar los resultados. Efectos aleatorios de cosas como retrasos en la producción, estacionalidad de la demanda, otros cambios en el mercado, e incluso el clima, todos pueden influir en una prueba a corto plazo. Pero con el tiempo el impacto de estos factores tiende a ser lavado, por lo que la ejecución de la prueba para un período de tiempo adecuado ayuda a minimizar el sesgo potencial introducido por efectos aleatorios.

Objeción #3. Las condiciones de negocio cambian demasiado rápido para que valga la pena probar.

Esta es otra objeción más teórica que práctica. Algunos han intentado caricaturizar la toma de decisiones de negocios basándose en los resultados de las pruebas comparándola con la conducción mirando en el espejo retrovisor. Aunque ingeniosa, esta analogía es fundamentalmente errónea, porque las dos alternativas de pruebas versus no pruebas no son comparables a la conducción mientras miran hacia atrás versus conducir mientras miran hacia adelante. En su lugar, la analogía sería más precisa si las pruebas se compararon con la conducción con un espejo retrovisor, mientras que no se comparó la prueba con la conducción sin espejos y sin parabrisas delantero tampoco! Por ahora debe estar claro que las pruebas proporcionan información valiosa para la empresa que está disponible a través de ningún otro medio. Por supuesto, tener esta información no equivale a poseer una bola de cristal que permita tomar decisiones empresariales con un perfecto conocimiento previo. Pero dada la incertidumbre sobre el futuro, cualquier decisión que deba hacerse será mejor informada por la gama más amplia de datos que proporciona la prueba en comparación con depender sólo de los resultados de BAU.

Además, las pruebas son un proceso continuo, no un esfuerzo "una vez hecho". La tecnología, los costos, los precios, la competencia y otros factores están cambiando continuamente, así que lo que funcionó hace tres años (o incluso hace tres meses) puede que ya no sea óptimo en el entorno empresarial actual. En consecuencia, cuanto más rápido esté cambiando el entorno empresarial, más probabilidades habrá de que las estrategias de BAU se involusuen en tratamientos subóptimos, incluso si se establecen perfectamente en primer lugar. Pero sin pruebas, sería imposible saber cuánto y cómo las estrategias existentes se están deteriorando rápidamente. Un buen programa de pruebas continuas de fondo permitirá hacer ajustes en la mejor información disponible en cualquier momento, y el análisis de "Qué pasa si" puede ser informado por el conocimiento de los efectos empíricos previos de la variación de elementos tácticos clave. Las pruebas también proporcionarán datos más concretos sobre los que basar las previsiones de futuros desarrollos y hacer ajustes en consecuencia. Así que cuanto más teme que sus condiciones de negocio están sujetas a cambios, entonces las pruebas más valiosas serán para su negocio.

Objeción #4. Ya sé lo que funciona para mi negocio, así que no necesito pasar tiempo o recursos probando para darme una respuesta que ya tengo.

Esta objeción a menudo se basa en una visión del mundo empresarial que enfrenta pruebas, análisis y análisis empírico contra el juicio, la intuición y la experiencia empresarial. Pero entendido correctamente, las pruebas no son un sustituto para el juicio empresarial—es una herramienta para ayudar a mejorar el juicio empresarial! De hecho, cuantas más pruebas pueda hacer, mejor podrá incorporar el aprendizaje generado en su perspectiva futura cuando surjan problemas similares.

Las pruebas también representan una forma de "acelerar" la experiencia. Algunas empresas establecen sus planes tácticos una vez al año, basándose en su estrategia actual y en la visión del mercado. Se ejecutan contra esa estrategia durante todo el año, y luego deciden al final del año qué cambios hacer para el año subsiguiente basado en su perspectiva sobre lo que funcionó bien y lo que no. Así que durante cinco años, usted podría estar expuesto a cinco planes tácticos diferentes y desarrollar una perspectiva sobre lo que funcionó y lo que no. ¡ Pero imagina si tu negocio ejecutó versiones de los cinco planes tácticos en el primer año! Después de sólo un año, usted habría ganado tanta experiencia con esas tácticas, ya que de lo contrario habría tomado cinco años para acumular. Imagina cuánto más rápido aprenderás, mejorando Tu criterio de negocio para el futuro, basado en esta aceleración de la experiencia.  

La intuición es realmente sólo el proceso de toma de decisiones subconsciente de la mente que se produce por debajo del nivel de razonamiento consciente—pero su exactitud sigue siendo en gran medida una función de experiencia y conocimiento previo. Rara vez la intuición produce destellos de genialidad en áreas con las que no tienes experiencia o conocimiento previo. Por lo tanto, al ampliar su perspectiva en un período de tiempo más corto, las pruebas realmente perfeccionarán su precisión intuitiva con el tiempo también.

Por supuesto, nos perderíamos si no considerara el simple hecho de que, a veces, el juicio o la intuición empresarial pueden estar equivocados. Sin un marco para las pruebas, puede ser costoso descubrir que este es el caso, o puede tardar mucho tiempo para que el error se manifieste. En casos extremos, algunos tipos de errores (en su mayoría los del tipo de suboptimización) nunca se pueden descubrir en absoluto sin los beneficios de las pruebas. Así que las pruebas realizan una función correctiva y de validación importante para el juicio empresarial también.

Objeción #5. Las pruebas son demasiado costosas para mi estrategia de negocio.

De todas las objeciones a las pruebas, ésta tiene el grano más grande de la verdad en su núcleo. Muchos ejecutivos entienden todas las bases conceptuales que se han detallado durante el debate de las objeciones anteriores. Sin embargo, se resisten a las pruebas porque creen que los costos de las pruebas son demasiado altos para su negocio. Pero en realidad este es un caso clásico de una decisión de "Penny-Wise-and-Pound-tonto".

En el caso de las pruebas, los costos de las pruebas se conocen normalmente de antemano. El costo de las pruebas incluye tanto sus costos directos (por ejemplo, el número de piezas que se deben producir) como sus costos de oportunidad (por ejemplo, cuál es el costo del descuento que se ofrece en comparación con el precio estándar). Estimar estos costos no suele ser muy difícil, y el número por lo general será positivo. Así que un ejecutivo tiene que aceptar un costo conocido de cierta magnitud para derivar un beneficio desconocido, y algunas personas, en esta circunstancia, encuentran difícil aceptar el costo de la prueba.  

Sin embargo, se trata de una visión asimétrica de la situación que carga injustamente la prueba simplemente porque sus costos son más visibles para la organización de antemano. El problema básico es que los errores en BAU (los asociados con las decisiones subóptimas) podrían ser altos, pero sin pruebas permanecen ocultos, por lo que no se ponderan adecuadamente contra los costos conocidos de las pruebas por adelantado. Como se ha comentado anteriormente, sólo las pruebas pueden exponer los verdaderos costos asociados con las decisiones subóptimas que de otro modo se harían, por lo que hasta cierto punto, no las pruebas son una manera de mantener a la organización en la ignorancia de estos costos, por lo que no pueden ser pesados contra el costos conocidos de las pruebas. Un círculo vicioso puede producirse, en el que cada prueba propuesta puede demostrarse que tiene costos asociados, mientras que cualquier beneficio sugerido de los resultados de la prueba puede ser descontado debido a la incertidumbre, de tal manera que la organización nunca realmente implementa ninguna prueba en absoluto. Por supuesto, en algunos casos, se puede sugerir una táctica de prueba que en realidad tiene costos directos más bajos que la BAU, y pruebas como estas suelen tener una mayor probabilidad de ser perseguido. Sin embargo, no es necesariamente mejor para la organización perseguir pruebas que tienen costos directos más bajos que sus prácticas de BAU vigentes en ese momento más agresivamente que otras pruebas, por lo que los ejecutivos sabios deben ser conscientes de este sesgo.  

En última instancia, una buena prueba en su conjunto es una actividad de ROI muy positiva en casi cualquier organización, porque el valor de la información obtenida a través de las pruebas permite mejorar las decisiones y las diferencias resultantes en los resultados del negocio son mucho mayores en magnitud que los costes asociados a la ejecución de las pruebas. Sin embargo, no todas las pruebas individuales pasan necesariamente el mismo umbral de retorno porque no cada prueba producirá información que tenga un impacto significativo en los resultados del negocio. Así que los líderes empresariales deben evitar la tentación de pedir a cada prueba que justifique su existencia de manera prospectiva. Por supuesto, cada prueba debería tener al menos un resultado plausible que llevaría a mejoras para el negocio, pero si los analistas supieran de antemano lo que las pruebas mostrarían y qué pruebas serían exitosas, ¡ no tendrían que realizarlas en primer lugar! Y cuanto más complejas sean las tácticas de BAU existentes, más probable es que se necesite algún tipo de prueba para determinar cómo podrían mejorarse con tratamientos alternativos.

Las mejores organizaciones entienden este marco y simplemente Factoriza el costo de las pruebas en curso en sus suposiciones sobre el costo de hacer negocios. La realidad es que las buenas pruebas son muy eficientes—incluso unos pocos cientos de observaciones pueden proporcionar un aprendizaje direccional sólido, y si usted puede permitirse tratamientos alternativos para miles de objetivos potenciales, entonces los resultados deben ser muy informativos de una estadística perspectiva de confianza. Los planes de pruebas bien diseñados y robustos pueden funcionar muy eficazmente con el paso del tiempo sin consumir más de unos pocos puntos porcentuales de los presupuestos de sus unidades de negocio relevantes, a la vez que producen beneficios muchas veces.  

Ahora que hemos revisado las objeciones más comunes a las pruebas, en la última entrega de esta serie, revisaremos las consideraciones para la implementación exitosa de las pruebas en un entorno de negocios típico.