Prueba A/B
A/B Testing
¿Qué es una prueba A/B?
- Se dividen al azar las versiones A y B, se muestran a los visitantes y se comparan los resultados
- Decidir la mejor versión con datos, no con “intuición”
- Cambiar una sola cosa a la vez y contar con una muestra suficiente es el principio
La prueba A/B cambia no la pantalla, sino el ambiente de la sala de reuniones. Donde antes ganaba quien hablaba más fuerte con «a mí me parece que el botón azul es mejor», el espacio pasa a ser uno donde se vuelve dos semanas después con los números en la mano. El beneficio mayor es que el equipo de marketing se gana el derecho a equivocarse. Aunque la versión B pierda, queda la certeza de que «esta dirección no es la correcta», por eso incluso las versiones descartadas se acumulan como base para el siguiente experimento. La brecha entre un equipo que hace 40 pruebas al año y otro que renueva todo una vez por trimestre se abre precisamente aquí.
En el diseño, lo primero que hay que definir es la muestra y la duración. Para que una mejora de la conversión del 2% al 3% sea estadísticamente válida, con un nivel de significancia de 95% y una potencia de 80%, se necesitan aproximadamente entre 2,000 y 3,000 personas por grupo. Si un sitio B2B recibe 5,000 visitas al mes, cada prueba tardará un mes. Por eso, en la práctica se usa como indicador principal una micro-conversión, como la descarga de un recurso o el acceso a la página de precios, en lugar de la consulta final, y la prueba se mantiene al menos dos semanas sin interrupciones para absorber las diferencias entre días de la semana. Las pruebas multivariantes, que cambian varios elementos a la vez, necesitan tantas muestras adicionales como combinaciones existan, así que no son adecuadas para empresas con poco tráfico.
Una confusión frecuente es la de «comparación antes y después de la renovación». Comparar la tasa de conversión de este mes con la del mes pasado no permite identificar la causa, porque se mezclan la temporada, el volumen de inversión publicitaria y los temas de la competencia. Repartir aleatoriamente el tráfico de un mismo periodo es la esencia de la prueba A/B, por eso su confiabilidad es distinta a la de la comparación antes y después. En cambio, el método de bandidos que concentra cada vez más tráfico en la versión ganadora conviene para banners de campañas de corto plazo, pero no deja registro de «por qué ganó», así que es desfavorable para acumular aprendizaje.
El error más común en la práctica es mirar los resultados a mitad de camino y detener la prueba. Si el día 3 se cierra porque la variante B va adelante, se consolida como victoria una diferencia que, con más muestra, podría haberse revertido. Que una diferencia sea estadísticamente significativa y que genere dinero no es lo mismo. Aunque la tasa de clics suba un 12%, si ese tráfico no se convierte en contratos, solo se alarga el tiempo que el equipo de ventas dedica a validaciones inútiles. También es frecuente que, de tanto ajustar el color del botón y el texto, pasen medio año sin ver el problema real: que la propuesta en sí es débil.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría
Euijung KimEstratega de marca con 30 años en publicidad y ex director de Daehong PlanningAplica a la web y al marketing el principio del experimento controlado A/B de la estadística. Con el desarrollo de las herramientas digitales de experimentación, se convirtió en un método estándar.
Veamos un caso hipotético: la empresa A, fabricante de sensores industriales, con 90 colaboradores y ingresos anuales de KRW 13,000,000,000 (≈ US$9,730,100). Su página de producto recibe 4,200 visitas al mes, pero las consultas de cotización son solo 28 (0.67%). El equipo de marketing se dividió entre «el titular solo enumera especificaciones» y «falta el precio», y lleva dos meses sin avanzar.
- El líder de equipo Kim dijo: «Con reuniones no vamos a terminar; probemos cuatro semanas», y creó dos versiones que cambiaban solo una línea del titular. La versión A decía «Sistema de sensores de alta precisión de tres ejes» y la B «Reducción de 30% en paradas de equipos».
- El responsable de datos, Lee, fijó que no se detendría hasta reunir 2.100 personas por grupo y 40 conversiones, y dejó fija la fecha de cierre en el calendario. También se estableció como regla del equipo no consultar los resultados en la segunda semana.
- Con solo 28 solicitudes de cotización al mes no era posible detectar diferencias, así que la métrica principal pasó a ser las descargas del catálogo. Ante la frase del gerente de ventas Park, «si solo suben las descargas, cargamos nosotros con todo», se añadió como métrica complementaria el número de consultas y la tasa de consultas efectivas.
- En el día 10, cuando B tomó la delantera, el CEO dijo «Vamos directo con B», pero el líder de equipo Kim insistió en que «si lo detenemos ahora, se revierte» y mantuvo la fecha prevista. En efecto, en el día 15 la diferencia se redujo a la mitad.
- Cuatro semanas después, la tasa de descarga pasó de 3.1% a 4.4%; las consultas de cotización subieron de 28 a 41 al mes, y la tasa de consultas efectivas se mantuvo, pasando de 61% a 64%. El equipo definió la visibilidad del precio como tema de la segunda prueba.
- Cuando hay suficientes visitas y muestra
- Cuando se quiere verificar con claridad el efecto de un solo elemento
- Cuando hay margen para mejorar la tasa de conversión
- Cuando hay poco tráfico y las estadísticas no son concluyentes
- Cuando hay que cambiar varios elementos a la vez
- En la etapa inicial, lo más importante es decidir rápido