Qué es un test A/B

El test A/B o A/B testing como su propio nombre indica es una técnica en la que tenemos dos versiones de un elemento, una actúa de grupo control y la otra versión es la que manipulamos y medimos para ver cuál tiene un mejor resultado.

Los Test A/B son una técnica experimental que utilizamos para validar la relación que existe entre dos o más variables. Una es la variable dependiente, es la variable que medimos, la otra es la variable independiente, es la variable que manipulamos. Lo que buscamos conocer cuando realizamos un test A/B es el nivel de correlación entre variables. Esta técnica se viene utilizando desde el siglo XVIII y el primer caso clínico en el que se aplicó está técnica fue  en 1757 cuando el cirujano James Lind lo aplicó para buscar un remedio para el escorbuto. 

Esta técnica experimental se puede aplicar a multitud de casos en el marketing digital. Por ejemplo, desde probar como modificando el asunto de un email (variable independiente), afecta a la tasa de apertura (variable dependiente) hasta el diseño de una página de ventas.

Seguramente reconozcas esta situación, estás diseñando una landing de venta y en el slide principal no sabes que claim usar. Hay discrepancias y estás entre dos opciones, ¿Qué podemos hacer en esta situación? ¿Dejamos que el azar decida lanzando una moneda al aire? Aunque todo entorno está sujeto a variables que no podemos controlar, no podemos dejar al azar o a criterios subjetivos muchas de las decisiones que tenemos que tomar en un proyecto. Aquí es donde podemos incorporar un test A/B ya que nos permite apoyar decisiones de diseño y de negocio en datos.

Razones por las que hacer un Test A/B

  • Aumento de la rentabilidad: Se trata de obtener información sobre cosas que verdaderamente funcionan para incrementar la conversión. El A/B Testing es una de las maneras más asequibles y fáciles con las que podemos incrementar el ROI en poco tiempo. Se pueden incorporar los cambios e ir comprobando aquellos aspectos que son más efectivos. 
  • Comprobar el tipo de copy que más encaja con tu audiencia: Las audiencias a las que nos dirigimos en cada proyecto son diferentes. Probar diferentes títulos, longitudes y tono puede darnos mucha información. 
  • Conocer a tu público: Al igual que ocurre con el copy, no hay dos marcas iguales y, por lo tanto, debemos saber adaptarnos. Realizar diferentes pruebas A B nos permite conocer a nuestro público y mejorar la imagen de marca. 
  • Innovación: Muchas empresas a menudo realizan importantes cambios sin antes realizar pruebas y es un grave error. Contar con una estrategia previa de pruebas o testing en el mercado es fundamental para validar el producto. Los Test A/B  pueden ayudarnos mucho en esta tarea, ya que haremos cambios de manera controlada y medible para elegir solo aquello que de verdad funciona. 

¿Cómo hacer un Test A/B?

El test A/B o testing se basa en el modelo científico:

Investigación

Lo primero que tenemos que hacer es recopilar todos los datos disponibles, tanto cuantitativos como cualitativos. Hay veces que los datos cuantitativos nos muestran un problema, pero no nos lo describen. Vemos que hay un problema pero no nos dicen el por qué, para ello podemos echar mano de los datos cualitativos que nos pueden arrojar luz sobre la problemática que planteamos.

Nuestro proceso de investigación, UX research, tiene como resultado la definición del Buyer Persona y del Customer Journey, dos de las áreas que debemos tener claras antes de comenzar un test AB.

Hipótesis

Una hipótesis es un enunciado no verificado que se pone a prueba para determinar su validez. Además, una hipótesis debe de ser clara, verosímil y medible.

El planteamiento de una hipótesis viene de la teorización del problema en función de la documentación recogida. Es decir, toda hipótesis está respaldada por un marco teórico. Aquí no tienen cabida hipótesis como «yo creo que…» «a mi me parece…» nada de eso vale, aquí entran fundamentos teóricos y datos tanto cuantitativos como cualitativos. Como decimos esta hipótesis tiene que ser clara, cuantificable y que guarde una relación entre las variables. También hay que recordar que una hipótesis no tiene porqué ser necesariamente verdadera, puede no serlo o no comprobarse.

Priorización

La decisión de lanzamiento de un test o experimento ha de realizarse bajo un criterio de priorización objetivo para eliminar el clásico problema de “todo es importante”, lo que implica que nada lo es.

A nivel estándar disponemos de tres sistemas de priorización de base que utilizaremos para priorizar con un criterio objetivo.

  • Método ICE. Este método toma el nombre de las iniciales de Impact, Cost y Effort ( Impacto, coste y esfuerzo). En función del peso de cada una de estas variables en aquello que queremos someter a un experimento, su prioridad variará.
  • Matriz del método ICE. En las columnas se ubican los factores de priorización. Las acciones a ejecutar las listamos en cada celda. La primera columna (impacto se valora 2 o 0 (alto o bajo); la segunda columna (coste) se valora con 0 o 1  (alto o bajo) y la última columna (esfuerzo) se valora con 0 o 1 (alto o bajo).
  • Método PIE. A diferencia del método ICE, que no es un método “digital”, el PIE es un sistema específicamente pensado para los casos de test y experimentación en activos digitales, diseñado y desarrollado por la empresa Widerfunnel. El nombre de PIE procede de las siglas de Potential, Importance y Ease (potencial, importancia y facilidad).
  • Método CXL. El método de priorización PXL ha sido desarrollado por CXL y está específicamente diseñado para la priorización de test y experiencias digitales.  La ventaja principal del método PXL es que intenta objetivar el concepto de “importancia” y también facilitar una métrica clara para la facilidad de implementación. Por ello, define un sistema de puntuación claro a partir de diferentes variables para cada atributo. El rango de posibles puntuaciones es muy amplio, lo que facilita priorizar conjuntos de acciones o posibles experimentos muy numerosos.

Diseño de soluciones

Tras haber analizado los datos y construido una buena base de hipótesis para cada punto de mejora identificado, es el momento de diseñar al menos una solución tentativa para cada uno de esos puntos, dependiendo de cuál sea el origen del problema que hemos identificado.

Definición del experimento

Según la hipótesis que planteamos deberemos de definir las diferentes variables:

Variable independiente: La variable independiente es la variable que manipulamos. Por ejemplo, si en test A/B cambiamos el color de una «Llamada a la acción» el color del botón será nuestra variable independiente.

Variable dependiente:  La variable dependiente es la variable que medimos y que, según nuestra hipótesis variará según manipulemos la variable independiente, de ahí su nombre, esta variable depende de la independiente. Siguiendo con el ejemplo si nuestra hipótesis es que «Aportando más contraste al color de la llamada a la acción aumentarán el número de clic» nuestra variable dependiente será el número de clics en el botón.

Variables extrañas: En todo experimento hay una serie de variables extrañas que interfieren en los resultados. Dado que nuestro objetivo es que los cambios en la variable dependiente sean producidos por la variable independiente, debemos de controlar todas aquellas variables extrañas que puedan enturbiar los resultados.

¿Cuáles suelen ser las variables extrañas más comunes?

  • Tipología de tráfico.
  • Tipología de dispositivo.
  • Lanzamiento de campañas.
  • Países, nacionalidades o elementos culturales.
  • Usuarios nuevos o recurrentes.

Tipos de Test A/B

Test A/B

Como hemos descrito con anterioridad un test A/B es una técnica que nos permite evaluar una sola variable entre las variables a testar, lo que nos permite una atribución clara.

Test multivariante

En ocasiones puede resultar útil comparar más de dos versiones de una misma página, por ejemplo, siguiendo con el ejemplo de la llamada a la acción, en el test A/B sólo comparábamos una variable pero en el test multivariante podemos comparar:

  • Posición del botón: «derecha» y «centro».
  • Texto del botón: «Regístrate» e «Inscríbete».
  • Icono en el botón: Con o sin icono.

Con una prueba multivariante lo que pretendemos comprobar es cuál de todas las configuraciones posibles ofrece un resultado mejor. Un tipo de test multivariante son los anuncios dinámicos de Facebook Ads, en los que combinan los diferentes textos, títulos e imágenes para ver cual ofrece un mejor resultado.

Multipágina o Split 

Este tipo de test lo que nos permite comparar son páginas totalmente diferentes o versiones diferenteses decir, los modelos guardan poca similitud entre sí. Aquí mostramos a un mismo público dos o más páginas diferentes pero con el mismo objetivo y medimos cual obtiene mejores resultados. Este tipo de test no nos permite atribuir el éxito a algún elemento concreto.

Personalización

En esta ocasión, se tienen en cuenta múltiples variables para generar no un test, sino una experiencia ajustada a las variables que se han podido interpretar.

Para realizar el testing correctamente debemos plantear el volumen de tráfico que queremos destinar a dicho test A/B (irá relacionado con la fiabilidad) y los segmentos de sesiones que vamos a incluir. 

Segmentos y distribución a tener en cuenta

Los principales segmentos que debemos tener en cuenta cuando hacemos Testing A/B son: 

  • Desktop/ Smartphone: 

La pantalla y el dispositivo puede hacer que una misma solución se resuelva de manera diferente, generando resultados dispares a la hora de interpretar los resultados de los test.

  • Países: 

La cultura y el comportamiento de los usuarios también puede hacer que los resultados sean diferentes. Por eso, es importante tener este dato en cuenta. 

  • Líneas de negocio: 

Antes de comenzar nuestro testing A/B debemos tener en cuenta si es un producto de compra impulsiva o reflexiva. Este factor también hará que el resultado del test sea diferente. 

  • Tipo de tráfico:

Los resultados serán muy diferentes dependiendo de donde proceda el tráfico que recibamos. Por ejemplo, el tráfico directo u orgánico ya nos conoce, Adwords se orienta a visitas de primer cliente y el mail suele tener unos ratios altos. 

  • Momento temporal: 

Es importante conocer al máximo el negocio, por eso en Bring realizamos una inmersión completa. Cada negocio digital tiene picos de ventas o conversiones y este momento puede generar resultados diferentes. Por ejemplo, un periodo navideño o de rebajas puede condicionar los resultados del testing. 

  • Climatología:

En determinados modelos de negocio; la climatología es un factor importante si hablamos de demanda y venta de los servicios o productos que vendemos. Un ejemplo sería la temporada de nieve y el equipamiento para la práctica de esquí o snowboard. 

Tamaño de la audiencia y tiempo estimado para la realización de una prueba A/B 

Como ya hemos dicho, hay aspectos o variables que no podemos controlar, pero debemos minimizar al máximo los riesgos de nuestras pruebas. Para ello es necesario saber el tamaño de la audiencia que necesitamos y el tiempo para la realización del testing. 

Existen aplicaciones gratuitas como la calculadora de significancia estadística de A/B Tasty  dónde podemos calcular la muestra mínima necesaria y la duración en base a nuestra audiencia, conversiones e información como el efecto mínimo detectable. 

Diferencia entre población y muestra

Población se refiere al universo, conjunto o totalidad de elementos sobre los que se investiga o hacen estudios. Muestra es una parte o subconjunto de elementos que se seleccionan previamente de una población para realizar un estudio.

Características de la muestra

  • Homogeneidad. Debe de tener una distribución normal de las características de la población.
  • Aleatoriedad. La muestra debe de  asignarse al azar.

Cómo interpretar los resultados en un test A/B

Como ya sabes, el objetivo de un test o experimento A/B no es otro que el poder demostrar con datos consistentes la idoneidad de una acción, garantizando una mejora en el rendimiento de la conversión. 

Otro de los objetivos de realizar testing en un sitio web es la experimentación como parte de un proceso ágil para la comprobación de diseño en productos digitales. Por eso, los datos deben estar muy bien contextualizados. 

En la página de resultados de las diferentes herramientas podemos encontrar la siguiente información:

  • Muestra impactada
  • Días de ejecución
  • Filtros aplicados
  • Conversiones
  • Porcentaje de conversión
  • Porcentaje de mejora de cada versión

Tras la ejecución de los test o experiencias de personalización es el momento de recoger los datos que hemos obtenido y hacer un análisis de ellos para valorar no solo la idoneidad de los cambios propuestos, sino también si la información que obtenemos nos sirve para mejorar en cualquier otra faceta de producto digital.

En general, a la hora de realizar un test hay tres tipos de resultados habituales:

  • El test alcanza significancia estadística
  • El test no alcanza significancia estadística, es inconcluso.
  • El test arroja un resultado negativo con significancia estadística.

Hay un punto importante a la hora de interpretar los datos y es entender que la significancia estadística, el conocido como valor p es un valor que varía, no es fijo y fluctúa. Por tanto recomendamos no detener el test aunque observamos una significancia del 95% (la probabilidad de que un resultado no se deba al azar) si el tamaño de la muestra procesada no es el que fijamos al inicio.

Los aprendizajes extraídos del test generalmente se traducen en:

  • Quick Wins. 
  • Identificación de patrones de comportamiento.
  • Relaciones causa-efecto.
  • Incorporar aprendizajes a un proceso de diseño iterativo.
  • Nuevas líneas de investigación.

 5 Herramientas recomendadas para realizar una prueba de TEST A/B

Existen diversas herramientas para realizar test A/B, las siguientes son las más comunes:

Google Optimize para A/B Testing 

Una herramienta que sirve para iniciarse es Google Optimize, permite realizar diferentes tipos de test, segmentar por audiencias y recientemente ha incorporado la funcionalidad de personalización.

Además Google Optimize se integra con Google Analytics pudiendo hacer el seguimiento de los test desde el apartado Experimentos de la propia herramienta.

Al igual que ocurre con otras herramientas de Google, cuenta con una versión gratis (Google Optimize) y una premium (Google Optimize 360). Antes de usar esta herramienta hay que cumplir algunos requisitos como instalar los códigos de seguimiento, tener instalado Google Chrome y una extensión para hacer experimentos con Optimize. 

Optimizely 

Esta herramienta utiliza los Test A/B o A/B Testing para optimizar web teniendo en cuenta el CRO en el proceso. Permite la personalización de contenido, la creación de audiencias o segmentos, estadísticas y análisis. Además, permite la integración con otros complementos como los mapas de calor para saber el comportamiento de los usuarios. 

A/B Tasty 

Otra plataforma para realizar Test A/B  que intenta mejorar la experiencia de usuario mediante pruebas de marketing.  Cuenta con muchas características que la hacen una muy buena opción, permitiendo la segmentación de audiencia, las actualizaciones inmediatas, personalización, test A/B de múltiples variables y reportes para la visualización de datos. Además permite la integración con multitud de CMS. ¿Desventaja? No cuenta con prueba gratuita y puede resultar un tanto elevado para empresas pequeñas. 

Visual Website Optimizer (VWO)

Esta herramienta es una de las más usadas ya que permite la integración con Google Analytics, genera reportes A/B, cuenta con un editor visual al estilo de WordPress que permite la edición de cualquier sitio sin tener que tocar código, etc. 

Una diferenciación es que ofrece la posibilidad de obtener opiniones de usuarios anónimos de todo el mundo. Por lo que puede ayudarnos a encontrar problemas de usabilidad. 

Convert Experiments

Acabamos está lista con un herramienta que permite testear diseños, textos e imágenes y, por supuesto, comprobar que opción funciona mejor. 

Tiene un menor precio que Optimizely o VWO, aunque no ofrece tantos datos en la parte estadística. 

Testing A/B y posicionamiento SEO 

Google permite y fomenta las pruebas A/B a través de sus propias herramientas y su uso no supone un riesgo al posicionamiento de un sitio web. Sin embargo, sí es posible poner en peligro nuestra posición si abusamos de una herramienta de prueba A/B con fines de encubrimiento. Google hace algunas recomendaciones al respecto: 

  • No utilizar Cloaking

El Cloaking es la práctica de mostrar a los motores de búsqueda un contenido diferente al que ve el usuario normal. Esto puede hacer que un sitio web sea eliminado de los resultados de búsqueda. 

  • Utilizar redirecciones 302

Las redirecciones 302 indican a Google que son temporales y que deben mantener la URL original indexada. Así si realizamos una prueba que redirija la URL original a la URL de variación no habrá ningún problema.

  • Utilizar rel=”canonical” 

Si utilizamos una prueba de división con varias URLs, debemos utilizar el atributo rel=”canonical”, para indicar la versión original. Así Googlebot se confunda con diferentes versiones. 

  • No abusar del tiempo

Debemos ejecutar las pruebas solo el tiempo necesario sobre todo si realizamos una variación de la web a un gran porcentaje de usuarios. 

Caso de Test A/B

El caso que analizamos es una web del sector turístico que tiene un modelo de negocio basado en la afiliación, así la manera que tienen de monetizar es a través de los enlaces de afiliados que tienen en sus contenidos sobre viajes.

El problema venía cuando el incremento en el tráfico no era proporcional al número de clic en enlaces. Lo primero que hicimos fue un análisis del modelo de negocio y entender el problema de la baja tasa de clics en los enlaces de afiliación. Entender el modelo de negocio es importante ya que el objetivo del test A/B es incrementar el número de clics en enlace y, por tanto, incrementar la facturación del cliente.

Al ser un blog de viajes que monetizan a través de los enlaces de afiliación hay dos cosas. Por un lado, tienes un modelo que se basa en el contenido para atraer tráfico a través del canal orgánico. Por otra lado, tienes que colocar unos enlaces de afiliación que respondan a una intencionalidad de búsqueda. Un ejemplo, si nuestros contenidos hablan de viajar low cost porque nos posicionamos por keywords como «Qué ver en Londres gratis» después, poner enlaces de afiliación a hoteles de lujo de Londres porque la comisión es más alta no es coherente con el público al que nos queremos dirigir con el contenido que elaboramos.

Aquí los contenidos y los enlaces de afiliación estaban bien dirigidos, pero el problema era que no se veían, no se podían identificar con facilidad. Como podemos ver en la imagen de abajo, en los posts había varios enlaces salientes y los enlaces de afiliados no estaban destacados.

 

Por lo tanto, aquí la hipótesis que planteamos es un poco como en el ejemplo que hemos puesto, «Si aumentamos la visibilidad de los enlaces de afiliados (Variable independiente) aumentarán los clics en los enlaces (Variable dependiente)». Las variables extrañas las controlamos homogeneizando la población objetivo, es decir, partiendo de la base de que el público que accede tanto a la versión A como a la versión B tiene las mismas características asumimos que la distribución de esas variables extrañas es igual en ambas versiones.

Así lo que hicimos fue agrupar los enlaces de afiliados en cajas destacadas donde llamábamos a la acción del usuario.

En este caso usamos la herramienta Google Optimize para realizar el experimento. Esta herramienta te permite realizar cambios en la página original generando una versión que puedes mostrar, por ejemplo, al 50% del tráfico de tu web o incluso a un segmento específico o los usuarios que entran a través de un determinado dispositivo. Las posibilidades son múltiples y dependerá de cómo diseñemos el experimento y de la hipótesis que queramos validar.

Después de realizar ese cambio, lo que hicimos fue hacer un seguimiento a través de Google Analytics, lo que vimos fue que en la versión original la tasa de clic era de un 23,68%,  nada desdeñable. Pero la variable tenía una tasa de clic del 53,22%, esto hizo que con solo manipular un elemento de diseño duplicáramos la tasa de clics en el enlace sin necesidad de incrementar el volumen de tráfico.

Este es un ejemplo de cómo aplicar un test A/B, como decimos hay muchas más aplicaciones y también hay que tener más variables en cuenta. Por ejemplo, en este caso dado al tráfico de la web y el tiempo que disponíamos para realizarlo no teníamos una muestra muy grande. Existen herramientas para analizar el tamaño de la muestra necesaria para saber si los resultados de un test son significantes como la calculadora de Optimizely. 

Somos una agencia CRO especializada y comprometida con los resultados, puedes revisar nuestros casos de estudio y ver cómo podemos ayudar a tu empresa a crecer.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Scroll al inicio