El experimento es una herramienta de gran utilidad, lo utilizamos a diario y nos ayuda a sacar conclusiones de gran valor para la toma de decisiones. Sin embargo, y aunque parezca una obviedad, es necesario que estas pruebas tengan la mayor fiabilidad posible. Para asegurarnos que podemos confiar en los resultados de nuestro experimento, uno de los conceptos más utilizados es la significancia estadística. A continuación, veremos en qué consiste y cómo podemos aplicarla en las campañas de publicidad y sus experimentos.
Antes de nada, empezaremos definiendo el concepto. De manera sencilla, podemos decir que la significancia estadística es una medida de fiabilidad en los resultados de un análisis. Determina si los datos que estamos recogiendo son fruto del azar o realmente existe una razón junto con unas variables que las ocasionan. En definitiva, es una forma de demostrar matemáticamente que podemos confiar en los resultados de los experimentos.
Desde un punto de vista empresarial, la significancia estadística es tan importante porque nos asegura que la toma de decisiones está basada en unos análisis y conclusiones fiables. Llevar a cabo acciones basándonos en datos incorrectos o engañosos no aportará ningún valor e incluso puede alejarnos de nuestros objetivos.
Una vez introducido el concepto de significancia estadística de una manera teórica, vamos a poner un ejemplo que quizás nos ayude a entender un poco más de lo que estamos hablando:
Supongamos que estamos llevando a cabo un test A/B para determinar que creatividad está consiguiendo los mejores resultados. En este caso el objetivo de la campaña es conversión. Tenemos el "anuncio 1" que será nuestra variable de control y el "anuncio 2" que es nuestro test.
Aunque a simple vista podemos ver que el "anuncio 2" consiguió mayor número de conversiones con un menor número de impresiones que el "anuncio 1", necesitamos estar seguros que esta diferencia entre ambos es significativa y no se trata de algo aleatorio. Para ello vamos a utilizar la calculadora de test A/B de SurveyMonkey (existen un gran número en internet) basada en la significancia estadística.
Ahora ya podemos asegurar que estábamos en lo cierto, nuestros resultados son significativos y podemos afirmar con un 95% de confianza que la variante B (el "anuncio 2" en nuestro caso) tiene la tasa de conversión superior a la variante A ("anuncio 1").
Llegados a este punto, seguramente te estés preguntando en qué nos basamos para afirmar que los resultados son significativos, vamos a ello:
En cualquier experimento existe una hipótesis nula, la cual afirma que no hay relación entre las dos cosas que estamos comparando y una hipótesis alternativa. Esta hipótesis alternativa suele intentar demostrar una relación y es la afirmación que se busca respaldar. En nuestro ejemplo se trata de un test A/B para la tasa de conversión, por lo que nuestra hipótesis alternativa afirmaría que la utilización de un anuncio diferente ("anuncio 2") afecta a la tasa de conversión, mientras que la hipótesis nula defiende que la utilización de un nuevo anuncio no afecta.
El p-valor es un valor de probabilidad, oscila entre 0 y 1, y nos muestra la probabilidad con la que se cumpliría la hipótesis nula. Por lo que valores altos de p no permiten rechazar la hipótesis nula, mientras que valores bajos sí permiten rechazarla.
En nuestro ejemplo el p-valor es de 0,0221. Esto significa que, si repetimos 100 veces este mismo test A/B, nuestra hipótesis nula (un nuevo anuncio no afecta en la tasa de conversión) se cumpliría tan solo en 2,21 ocasiones. Teniendo en cuenta que lo más común es trabajar con un intervalo de confianza del 95%, donde nos permitimos hasta 5 errores de cada 100 (p-valor <0.05), estaríamos en posición de rechazar la hipótesis nula y por lo tanto determinar que el anuncio 2 afecta a la tasa de conversión. En este caso de manera positiva ya que su ratio de conversión es 13% superior a anuncio 1 (control). Además, este p-valor nos indica que los resultados no son aleatorios y que se espera que se repitan los mismos patrones si volviéramos a hacer el mismo análisis.
Hemos puesto el ejemplo de la variación de anuncios, pero este tipo de experimento podríamos aplicarlo a multitud de elementos como campañas, audiencias o tipo de pujas. Google Marketing Platform en sus diferentes plataformas de publicidad permite la creación de experimentos de una manera sencilla y nos ofrece toda la información necesaria para entender los resultados de los mismos. Entre estos datos se incluye la significancia estadística y los intervalos de confianza, por lo que no será necesario utilizar herramientas externas para comprobar la fiabilidad de nuestros resultados como hemos hecho nosotros en nuestro ejemplo.
El siguiente ejemplo está sacado de un experimento en Google Ads:
Cuando aparece un asterisco azul significa que el resultado es estadísticamente significativo. Por lo tanto, estamos de suerte.
Como podemos ver, tenemos un p-valor del 1.6% y por lo tanto podemos rechazar la hipótesis nula la cual considera que no hay ninguna relación en los resultados y se debe al azar. Estamos en la posición de rechazarla ya que asumimos un intervalo de confianza del 95% y por lo tanto aceptamos un máximo de 5 errores por cada 100 (p < 5% o 0.05). En definitiva, nuestros resultados tienen significancia estadística.
Por otro lado, se observan valores negativos que nos indican que los resultados en término de conversiones han sido peores en el experimento que el control. En este caso concreto, se han conseguido un 30% menos de conversiones (107 vs 153).
Además, de acuerdo al intervalo de confianza, podemos saber que, si repitiésemos el experimento infinitas veces, en el mejor de los escenarios conseguiría un 6% menos de conversiones y en el peor un 53%.
En definitiva, el experimento ha fracasado.
Ahora que sabemos un poco más sobre la significancia estadística y su importancia, os invito a utilizarla lo máximo posible para tener también a la estadística de nuestra parte en la toma de decisiones.
*Fuentes bibliográficas:
What is Statistical Significance in Google Ads? [Tutorial] (wuclick.com)
Cómo supervisar sus experimentos - Ayuda de Google Ads
¿Qué es la significancia estadística y cuál es su importancia en CRO? - Online Zebra
Metodología estadística de los experimentos - Ayuda de Google Ads
How to Understand & Calculate Statistical Significance [Example] (hubspot.com)
Fast Track To Finding Statistical Significance | PPC Hero
Significancia estadística: qué es y cómo calcularla | Mixpanel
Cómo Analizar Experimentos: Google Ads (cursogoogleads.online)
A/B Testing Calculator for Statistical Significance | SurveyMonkey
Autor :
Publicado en : Marzo 29, 2022
Post por temática
