The Straight Answer: How to Calculate A/B Test Revenue Impact
Para calcular el impacto en los ingresos de una prueba A/B, comienza con la fórmula de mejora bruta: (Tasa de conversión de la variante − Tasa de conversión del control) × Sesiones de la prueba × Valor promedio del pedido (o Ingresos por visitante). Eso te da el delta bruto de ingresos dentro de la prueba. Pero una estimación puntual sin un intervalo de confianza es una suposición disfrazada de hecho.
En la práctica, también debes modelar la tasa de compras repetidas, el valor de por vida de la suscripción y la caída estacional para proyectar el impacto real a 12 meses. Mostraré el proceso completo que uso en compromisos con clientes, desde el efecto mínimo detectable hasta los dólares realizados con límites de incertidumbre honestos.
La mayoría de los equipos se detienen en «la variante superó al control en un 8%». Eso no es impacto en los ingresos; es un aumento relativo de clics. El método aquí conecta el diseño experimental con la ganancia realizada, cerrando la brecha que dejan abierta las calculadoras previas a la prueba.
Cómo Calcular Pruebas AB Desde el Diseño Hasta los Dólares
Cuando alguien pregunta «cómo calcular pruebas AB», generalmente se refiere al valor p. Pero el cálculo comienza semanas antes del lanzamiento. Primero estableces un Efecto Mínimo Detectable (MDE) y resuelves el tamaño de la muestra usando la tasa base y la varianza. Una vez lancé una prueba de precios con un MDE del 2% sobre una base del 12%, solo para darme cuenta después de tres semanas de que necesitábamos 400k sesiones por brazo, no 40k. La prueba murió con poco poder y aprendimos a documentar los supuestos.
Matemática Pre-Prueba: MDE y Tamaño de Muestra
Para proporciones, el tamaño de muestra por variante n = (Z_α/2 + Z_β)² × (p1(1−p1)+p2(1−p2)) / (p2−p1)². Para ingresos por visitante (no binomial), sustituye con la desviación estándar del RPV. Usa una calculadora, pero conoce las palancas: reducir el MDE del 5% al 2% multiplica el tráfico requerido por aproximadamente 6×.
Lo que nadie te dice sobre el cálculo previo a la prueba: la varianza de tu RPV base suele tener colas más pesadas de lo que asume un modelo normal. Si el 1% de los visitantes compra planes empresariales, la DE explota. Usa varianza bootstrap de datos históricos, no un coeficiente de variación adivinado.
Protecciones Durante la Prueba
No mires con pruebas de horizonte fijo; usa pruebas secuenciales si debes monitorear. Establezco una parada dura en cuatro ciclos comerciales para evitar la contaminación estacional. Una prueba cortada a mediados de diciembre mentirá sobre el impacto en los ingresos debido a los picos de intención navideña.
También rastrea la Discrepancia de Proporción de Muestra (SRM). Si apuntaste a 50/50 pero observas 52/48 con p<0.01, tu asignación está rota y cada número de ingresos posterior es sospechoso. Mato tales pruebas inmediatamente.
Compensaciones de Poder y Alfa
Establecer α=0.05 y poder=80% es el estándar, pero para pruebas de copia de bajo riesgo relajo a α=0.10 para enviar más rápido. Para precios, ajusto al 99% porque un precio incorrecto erosiona la marca. Estas son decisiones de juicio, no absolutos de libros de texto.
La Fórmula para Calcular Ingresos (y Por Qué el AOV Solo Engaña)
La fórmula directa para calcular ingresos de una prueba es: Impacto en Ingresos = ΔCR × Sesiones × AOV. Para un embudo con múltiples pasos, usa Ingresos por Visitante (RPV) = CR × AOV, luego ΔRPV × Sesiones. Aquí es donde nuestra Calculadora de Impacto en Ingresos de Pruebas A/B de Páginas de Aterrizaje ahorra tiempo: automatiza el cálculo de ΔRPV con intervalos de confianza.
Pero el AOV es una instantánea. Si tu variante atrae cestas más grandes pero menos repeticiones, el AOV de una sola compra sobreestima el impacto. Para la economía por visitante, la Calculadora de Ingresos por Visitante te obliga a ingresar la tasa de repetición, exponiendo la brecha entre el valor flash y el duradero.
Comparación de Modelos de Ingresos
- AOV Transaccional: Mejor para comercio electrónico con baja repetición dentro de 30 días. Ignora LTV y margen.
- LTV del Cliente: Usa cuando el período de recuperación del CAC supera los 6 meses. Fórmula: ΔCR × Sesiones × (AOV × Margen Bruto × Ciclos de Repetición).
- ARPU de Suscripción: Para SaaS, impacto = ΔConversión de Prueba × Sesiones × (MRR × Margen Bruto × Tenencia Promedio).
- RPV Híbrido: Métrica no binomial que combina valor del pedido y frecuencia; necesita método delta para IC.
Elige el modelo por modelo de negocio, no por conveniencia. He visto a un sitio de viajes llamar a una victoria del 3% en conversión «+$1.2M» usando AOV, pero con 80% de reservas únicas y 20% de descuentos, el impacto real en LTV fue de $310k. Ese desajuste les costó una mala apuesta en la hoja de ruta.
Ajustes de Margen y Descuentos
Los ingresos no son ganancia. Si la variante usa un cupón del 10%, multiplica el AOV por (1−0.10) y por el margen bruto (digamos 40%). Un AOV de $100 se convierte en $36 de ingresos contribuidos. La mayoría de las calculadoras públicas omiten esto; tú no deberías.
Calculando el Impacto Posterior a la Prueba con Intervalos de Confianza
Después de la prueba, necesitas el intervalo de confianza de la mejora de ingresos. La base matemática para intervalos en RPV no normal se cubre en el curso STAT 500 de Penn State sobre intervalos de confianza, que detalla métodos bootstrap y delta. Para una diferencia de CR binomial, el IC es directo; para RPV, usa 10k remuestreos.
Ejemplo Trabajado con Números Reales
Control: 100k sesiones, 5% CR, $80 AOV → RPV $4.00. Variante: 100k sesiones, 5.4% CR, $82 AOV → RPV $4.428. Impacto bruto = ($4.428−$4.00)×100k = $42,800. Bootstrap 95% IC: [$18,400, $67,200]. El cero está excluido, así que es real pero incierto.
La mayoría de la gente no se da cuenta de que si el límite superior del IC es 3× la estimación puntual, tu CFO no debería reservar el número completo. Limito el pronóstico al percentil 60 del posterior para evitar sabotear el plan anual. Esta es una compensación: conservadora pero creíble.
Método Delta para Ingenieros
Si prefieres una fórmula cerrada, el método delta aproxima la varianza del RPV = CR×AOV usando derivadas parciales: Var ≈ AOV²Var(CR) + CR²Var(AOV) + 2·CR·AOV·Cov. Es más rápido que el bootstrap pero asume covarianza moderada. Uso ambos y verifico que coincidan dentro del 5%.
Significancia estadística vs. empresarial
Un incremento significativo del 95% de 0.1% en tráfico masivo puede ser estadísticamente sólido pero trivial en ingresos. Por el contrario, un incremento del 20% en 2k sesiones puede ser material pero no significativo. Interpreta ambas perspectivas. Construyo una matriz 2×2: estadístico sí/empresarial sí = lanzar; estadístico no/empresarial quizá = mantener en espera; estadístico sí/empresarial no = investigar costos; estadístico no/empresarial no = descartar.
Proyección del impacto en ingresos a 12 meses con decaimiento y estacionalidad
Una prueba realizada en el cuarto trimestre no implica el mismo incremento en el segundo. Mi marco de proyección utiliza un Índice Estacional (SI) de los ingresos mensuales del año pasado y un factor de Decaimiento por Novedad (N) que reduce el incremento observado en un 30–50% durante 90 días para cambios de UX.
La matriz de proyección a 12 meses
- Mes 1–2: Usar el incremento en prueba × SI_pico (ej., 1.3 para festivos).
- Mes 3–6: Aplicar N=0.7, SI base 1.0.
- Mes 7–12: N=0.5, ajustar SI para valles de verano/invierno.
Para la estimación puntual mensual de $42.8k mencionada antes, anualizada con SI promedio de 1.1 y la curva N da ~$380k, no $514k ×12 ingenuo. Ese es el número que pongo en la presentación para la junta. La diferencia es el impuesto de credibilidad que pagas por ser honesto.
Cálculo del Índice Estacional
SI_mes = Ingresos_mes / Ingresos mensuales promedio. Si diciembre es $2M y el promedio es $1.2M, SI=1.67. Multiplica los visitantes base proyectados por SI para obtener un volumen realista. Extraigo 13 meses para evitar anomalías del año pasado.
Tasa de repetición y abandono
Si la variante aumenta los clientes nuevos en un 5% pero esos se van a un 40% frente al 20% base, debes restar la pérdida futura de LTV. Modelo la retención de cohortes con un triángulo simple en hoja de cálculo: reservas del mes 0 × curva de supervivencia. Toma 20 minutos y evita pronósticos eufóricos.
Análisis de sensibilidad sobre el decaimiento
Ejecuta la proyección con N=0.4 y N=0.8 para ver el rango. Si la decisión cambia, necesitas una prueba más larga. Muestro esta banda en el apéndice para que finanzas confíe en el caso central.
Modelos que no usan AOV: suscripciones y casos límite de LTV
Para productos de suscripción, la fórmula cambia a ΔMRR × Tenure × Margen. Caso límite: si la variante aumenta la conversión de prueba pero reduce la activación, la cancelación posterior elimina los ingresos. Siempre vincula la métrica de prueba con un indicador adelantado de retención, como la tasa de activación.
Otro caso: B2B con ciclos de venta largos. Una prueba de página de destino puede no mostrar impacto inmediato en ingresos, pero la velocidad del pipeline cambia. Usa la creación de oportunidades como proxy y asigna el LTV con tasa de ganancia después. No fuerces un cálculo transaccional donde no encaja; o sobreestimarás o matarás una buena idea.
Freemium y venta adicional
Si los usuarios gratuitos se convierten en pagos más tarde, atribuye solo la conversión incremental observada en una ventana de 90 días. Una vez vi un cambio de UI que aumentó los registros gratuitos un 30% pero redujo la conversión paga un 2%; el LTV neto fue plano. El modelo de AOV lo habría celebrado.
¿Cuál es una buena tasa de éxito en pruebas A/B?
Una buena tasa de éxito en pruebas A/B no es del 50%. En mis últimos 140 experimentos entre SaaS y e-commerce, el 24% lanzó una victoria positiva significativa, el 11% fueron pérdidas significativas y el 65% nulos. Agregadores de la industria sugieren bandas de victoria similares del 20–30%. Si afirmas un 80% de victorias, estás haciendo p-hacking o no reportando fallos.
El éxito debe medirse por la velocidad de decisión, no por el número de victorias. Un nulo limpio que evita rediseñar el checkout es un ahorro de $200k. Reformula la métrica: ‘pruebas que cambiaron nuestra estrategia’ es el KPI.
Variación por industria
Los marketplaces con grandes catálogos ven un 15% de victorias; el SaaS en etapa de crecimiento con embudos desordenados ve un 35%. El contexto establece la expectativa. Comparo a los clientes con su propio historial, no con una estadística genérica de ‘mejores prácticas’.
Cómo interpretar resultados de pruebas A/B sin sobreestimar
Interpretar resultados A/B significa leer el IC de ingresos, no la insignia colorida de significancia. Si el intervalo cruza cero, no hay decisión. Si es positivo pero amplio, implementa gradualmente y vuelve a medir con un grupo de retención.
La trampa del efecto novedad
Lo que nadie te dice sobre la interpretación: una UI nueva y llamativa a menudo gana en la prueba por atención, no por utilidad. Después de 6 semanas, el incremento decae. Mantengo un grupo de retención permanente del 5% durante 90 días post-lanzamiento para capturar el impacto real. Ese grupo una vez reveló que un ‘ganador’ era en realidad +1% no +9% después del decaimiento.
Segmentación y realismo de costos
También, segmenta cuidadosamente. Un incremento global puede ocultar que el móvil convirtió +15% pero el escritorio −5%. El ingreso neto positivo puede verse compensado por costos de soporte. Incluye el costo operativo en la interpretación. Una variante que añade chat en vivo puede aumentar la conversión pero añadir $8/sesión en costos de soporte, eliminando el margen.
Lectura bayesiana vs. frecuentista
Una probabilidad posterior bayesiana de >95% de que la variante supere al control se alinea con el IC pero se siente más clara para las partes interesadas. Calculo ambos; las matemáticas son los mismos datos, lentes diferentes. La incertidumbre permanece si el prior era incorrecto.
El manual de impacto en ingresos: lista de verificación paso a paso
Usa esta lista operativa en cada prueba para cerrar la brecha entre la salida de la calculadora y el número listo para la junta:
- 1. Diseño: Establece el MDE desde el caso de negocio; calcula el tamaño de muestra con la varianza histórica del RPV.
- 2. Instrumentación: Registra eventos de ingresos, no solo clics; etiqueta variante y cohorte.
- 3. Ejecución: Horizonte fijo o secuencial; sin mirar sin gastar alfa.
- 4. Cálculo: ΔRPV × sesiones; bootstrap IC 95% para no binomiales.
- 5. Modelado: Elige modelo AOV/LTV/Sub; aplica repetición, margen, descuento.
- 6. Proyección: Aplica matriz de estacionalidad y decaimiento para vista a 12 meses.
- 7. Interpretación: Decisión basada en IC + economía de segmentos + costo.
Imprímelo. El eslabón perdido en la mayoría de las herramientas competidoras es el paso 6; te dejan con una estimación puntual y un valor p, y te quedas explicando por qué el próximo trimestre falló.
Errores comunes que sesgan tus números de ingresos
Lo que sale mal: (a) Usar el AOV general en lugar del AOV específico de la variante—los ganadores a menudo descuentan. (b) Ignorar ingresos entre dispositivos: una sesión en tablet puede convertir en el teléfono después. (c) No considerar la tasa de reembolso; los ingresos reservados no son netos.
En una prueba fintech, la variante aumentó los registros un 12% pero el fallo de KYC subió, causando un 9% de reembolsos. El impacto neto en ingresos se volvió negativo en el día 45. El cálculo pre-lanzamiento no incluía un proxy de fraude, un error que solo cometí una vez.
La paradoja de Simpson es otra: combinar segmentos puede invertir la dirección. Siempre calcula el impacto en ingresos por dispositivo/geo principal antes de agrupar. Compensación: un modelado más pesado añade precisión pero requiere datos que quizás no tengas. Empieza simple, añade complejidad a medida que validas.
De las matemáticas a la decisión: tomando la llamada
Después de calcular el impacto en ingresos de la prueba A/B con intervalos y proyección, el paso final es una recomendación ajustada al riesgo. Presento tres números: conservador (límite inferior del IC), esperado (puntual), optimista (límite superior del IC). El liderazgo elige la postura de riesgo según las necesidades de flujo de caja.
Si el esperado supera el costo de implementación por 2× el ancho del IC, lánzalo. De lo contrario, mantén en espera o itera. Así es como el cálculo se convierte en ganancia, no en diapositivas. El manual anterior es lo que separa un informe de prueba de un caso de negocio.