Test A/B: cómo hacerlo y leer los resultados correctamente

En junio de 2026, ConversionTeam publicó la auditoría de 2.288 tests A/B de 71 clientes. Contando solo a quien terminó por delante, el 50,5% de las versiones nuevas “ganó”. Al aplicar significancia estadística a esos mismos tests, quedó el 19,1%.

De esa distancia trata este texto. Hacer un test A/B es la parte fácil: las herramientas reparten el tráfico solas. Lo difícil es no celebrar una diferencia que era puro ruido y luego gastar un trimestre entero implementando la nada.

Para hacer un test A/B, escribe una hipótesis, elige una métrica principal, calcula la muestra necesaria antes de empezar, reparte el tráfico al azar entre dos versiones y espera hasta la fecha definida. Solo entonces compara: una versión gana cuando el intervalo de confianza de la diferencia queda entero por encima de cero.

Qué es un test A/B, y qué no es

Un test A/B compara dos versiones de una misma cosa (página, anuncio, asunto de email, precio) mostrando cada una a un grupo sorteado de personas, al mismo tiempo. El sorteo es lo que da valor al método: como los grupos se parecen en todo lo demás, la diferencia de resultado tiende a venir del cambio que hiciste.

Por eso, cambiar la página el lunes y compararla con la semana anterior no es un test A/B. Es un antes y después, contaminado por festivos, campañas, clima y día de pago. Sirve como pista, no como prueba.

Cómo hacer un test A/B en 6 pasos

1. Escribe la hipótesis antes de abrir la herramienta

Un formato simple: “si mostramos el envío ya en la página de producto, la conversión sube, porque el susto en el checkout es lo que frena la compra”. Sin el “porque”, solo aprendes qué versión ganó, no el motivo. Y el motivo es lo que se aplica en el siguiente test.

2. Elige una métrica principal

Una sola, decidida antes. Si sigues 12 métricas, alguna subirá por azar y el informe la contará como victoria. Las demás son métricas de protección: la conversión puede subir, pero el ticket medio y las devoluciones no pueden caer. Si dudas sobre el denominador, empieza por la guía de tasa de conversión.

3. Calcula la muestra antes de empezar

Es el paso que casi todos se saltan. Necesitas tres números: la conversión actual, la menor ganancia que justificaría el cambio (el efecto mínimo detectable) y el estándar estadístico, normalmente 95% de confianza y 80% de potencia. La tabla muestra las sesiones necesarias por versión con ese estándar.

Conversión actual	Ganancia de 10%	Ganancia de 20%	Ganancia de 30%	Ganancia de 50%
1%	163.100	42.700	19.800	7.800
2%	80.700	21.100	9.800	3.800
3%	53.200	13.900	6.500	2.500
5%	31.200	8.200	3.800	1.500

Fíjate en el costo de la precisión: detectar una ganancia de 10% pide casi cuatro veces más muestra que detectar una de 20%. En la práctica, un botón de otro color rara vez mueve lo suficiente para notarse. Prueba cambios grandes: oferta, garantía, orden de la página, propuesta de valor.

4. Sortea por persona y ejecuta las dos versiones juntas

Quien vio la versión B debe seguir viendo la B al volver. Con ambas activas a la vez, las campañas y la estacionalidad afectan por igual a los dos grupos.

5. Ejecuta semanas completas

Aunque ya tengas la muestra, cierra ciclos de 7 días, porque quien compra el sábado no se comporta como quien compra el martes. Evita cortar el test en medio de una fecha como el Black Friday: el público de esa semana es otro, y el ganador puede no valer en diciembre.

6. Lee solo al final

Mirar el panel no hace daño. El problema es decidir con él. La siguiente sección muestra por qué.

¿Por qué parar el test cuando “dio significancia” genera falsos ganadores?

El 95% de confianza vale para una lectura, hecha con el tamaño de muestra acordado. Cada mirada extra con poder de decisión es otra oportunidad para que el azar cruce la línea.

Hicimos una simulación para medirlo: 20 mil tests en los que A y B eran idénticas, con 3% de conversión, 500 sesiones al día por versión y 14 días de duración. Leyendo solo al final, el 4,9% señaló un ganador falso, cerca del 5% esperado. Decidiendo el primer día en que el panel marcara significancia, fue el 21,7%.

Existen métodos hechos para lectura continua, como los tests secuenciales, y algunas herramientas ya los usan. Si la tuya lo hace, perfecto: confírmalo en la documentación. Si no lo sabes, asume que no y espera el plazo.

Ejemplo: cómo leer los resultados de un test A/B

Una tienda de cosméticos tiene 2.000 sesiones al día, 3% de conversión y ticket de US$ 180. La hipótesis es mostrar el envío en la página de producto, y la meta es detectar una ganancia de 20%. Según la tabla, son 13.900 sesiones por versión, o 14 días. El equipo redondea a 14.000 por lado.

El quinto día, con 5.000 sesiones por versión, B tenía 3,72% contra 3,00% de A: 24% de ganancia y valor p de 0,046. La tentación de cerrar era grande. El equipo esperó. Al final:

• Versión A: 420 pedidos en 14.000 sesiones, 3,00%.
• Versión B: 492 pedidos en 14.000 sesiones, 3,51%.
• Diferencia: +0,51 punto porcentual, o 17% de ganancia.
• Valor p: 0,015.
• Intervalo de confianza de 95%: de +0,10 a +0,93 punto.

B ganó, y la ganancia se encogió de 24% a 17%. Es el patrón: el resultado que aparece pronto suele venir inflado. Por eso la pregunta útil es “¿de qué tamaño es la ganancia probable?”, y quien responde es el intervalo, no el valor p.

Con 60 mil sesiones al mes, ese intervalo significa entre US$ 10,8 mil y US$ 100 mil más de facturación mensual, con centro cerca de US$ 55 mil. Es un rango amplio. Si implementarlo costara US$ 30 mil al mes en envío subsidiado, la decisión no estaría resuelta, aun con significancia. Haz la cuenta sobre margen, no sobre facturación.

Qué es la significancia estadística, sin jerga

El valor p responde a una pregunta muy concreta: si no existiera ninguna diferencia, ¿con qué frecuencia veríamos un resultado tan extremo solo por azar? En el ejemplo, 0,015 significa el 1,5% de las veces.

No dice que haya un 98,5% de probabilidad de que B sea mejor, aunque muchos paneles casi lo escriban así. Tampoco dice nada sobre el tamaño de la ganancia: con una muestra enorme, una mejora irrelevante se vuelve “significativa”. La significancia dice si puedes confiar en la señal; si vale la pena lo decide la cuenta de negocio.

Y el resultado inconcluso no es un fracaso. Informa que el cambio, si tiene efecto, está por debajo de lo que el test alcanza a ver. En ese caso, quédate con la opción más simple de mantener. Resiste a “una semana más” sin plan: es la misma espiada disfrazada, uno de los sesgos que distorsionan decisiones.

Tres comprobaciones antes de confiar en el resultado

1. ¿La división salió como se acordó? En 28.000 sesiones repartidas a la mitad, lo normal es variar unas 160 hacia cada lado. Si salió 14.420 contra 13.580, la probabilidad de que sea azar es menor que 1 en 1 millón. Hay algo roto, probablemente una redirección o el seguimiento, y el test debe descartarse.
2. ¿La ganancia aparece en todos los segmentos importantes? Una victoria que solo existe en escritorio puede esconder una pérdida en el móvil, donde está la mayor parte de tu tráfico. Usa los cortes para investigar, no para buscar un ganador a posteriori.
3. ¿La conversión se contó igual en los dos lados? Un evento duplicado en una sola versión fabrica una victoria. Confirma los pedidos en el sistema de ventas, y no solo en el panel de la herramienta.

¿Y si no hay tráfico para hacer tests?

Es más común de lo que parece. En el análisis de Convertcart de 1.103 experimentos entre junio de 2025 y junio de 2026, cerca de 1 de cada 6 tiendas auditadas no tenía tráfico suficiente para un test válido.

Piensa en una empresa B2B con 6.000 sesiones al mes y 2% de conversión en lead. Detectar una ganancia de 20% exige 42.200 sesiones: siete meses. Quedan tres salidas honestas:

• Probar cambios mayores. Apuntando a una ganancia de 50%, el test baja a 7.600 sesiones, poco más de cinco semanas.
• Medir un paso más arriba en el embudo. El clic en el botón de presupuesto, con 10% de tasa, pide 7.600 sesiones para una ganancia de 20%. El riesgo es optimizar clics que no se vuelven ventas, así que sigue la etapa siguiente.
• No testear. Usa entrevistas, grabaciones de sesión y análisis del embudo, y asume el cambio como decisión de negocio. Mejor eso que un test débil con sello de ciencia.

En medios pagados, la lógica es la misma, y la unidad que pesa es la conversión, no la impresión. Un CTR excelente con 40 conversiones por lado prueba poco sobre el costo por venta. Mira cómo organizar esa lectura en el análisis de campañas de Meta Ads.

¿Qué tasa de victorias esperar?

Bastante menos de lo que sugieren los casos de éxito. La auditoría de ConversionTeam (2026) da ese 19,1% con significancia, usando un test de una cola al 95%. Convertcart (2026) reporta 37% de mejoras significativas. La diferencia entre ambas muestra cuánto pesan la definición y el método, y las dos son consultoras de optimización con clientes que ya tienen programa de tests.

Si una empresa que empieza gana 2 de cada 10 tests, está normal. Si gana 8 de 10, desconfía de la regla antes de celebrar.

Preguntas frecuentes

¿Cuánto tiempo debe durar un test A/B?

El tiempo que exija la muestra calculada, redondeado a semanas completas. Dos semanas son un buen mínimo práctico para cubrir la variación entre días. Pasar de cuatro a seis semanas trae otro riesgo: las cookies caducan y las personas empiezan a caer en la otra versión.

¿Cómo funciona el test A/B de Meta Ads?

El Administrador de Anuncios tiene una herramienta propia que divide el público entre las versiones, para que la misma persona no vea las dos, y señala un ganador por costo del resultado. Cambia una variable a la vez, como creativo o público. Duplicar la campaña a mano no equivale a eso, porque los públicos se solapan y el algoritmo reparte el presupuesto de forma desigual.

¿Cuál es la diferencia entre significancia estadística y relevancia práctica?

La significancia dice que la diferencia probablemente es real. La relevancia dice si paga el cambio. Una ganancia de 0,02 punto puede ser significativa en una base gigante y no cubrir el costo de desarrollo.

¿Puedo probar más de dos versiones al mismo tiempo?

Puedes, pero la muestra se divide y el error crece. Con tres versiones nuevas contra la original, la probabilidad de al menos un falso ganador sube de 5% a cerca de 14%, si no se corrige nada. Con poco tráfico, dos versiones bien distintas suelen enseñar más.

¿Cuál es el nivel de confianza ideal?

95% es el estándar para decisiones difíciles de revertir. En cambios baratos y fáciles de deshacer, como el asunto de un email, 90% es aceptable, sabiendo que aceptas más falsos ganadores a cambio de velocidad.

Testear bien es decidir el criterio antes de ver el resultado

La estadística del test A/B cabe en una tabla y una calculadora. Lo que separa a quien aprende de quien colecciona victorias falsas es la disciplina de definir métrica, muestra y plazo antes, y aceptar cuando el dato dice “todavía no lo sé”.

La parte pesada suele ser cruzar el resultado del test con lo que pasó después, en el CRM y en los ingresos. En Sherlok, preguntas en español y recibes el análisis listo con Meta Ads, Google Ads, GA4 y CRM en la misma conversación, para descubrir si la versión ganadora también trajo mejores clientes.