Pruebas de Incrementalidad: Cómo Correr Holdouts y Pruebas Geo

La prueba de incrementalidad mide cuántas conversiones tu marketing de verdad causó, no solo tocó. Comparas un grupo expuesto a tus anuncios contra un grupo estadísticamente similar que fue retenido, y la diferencia en resultados es tu lift real. Los dos métodos más prácticos son las pruebas de holdout de audiencia, donde una porción aleatoria de usuarios no ve anuncios, y las pruebas geo, donde cambias el gasto en regiones emparejadas. Ambas funcionan sin cookies ni tracking a nivel de usuario, lo que las convierte en las herramientas de medición más resistentes a la privacidad que existen hoy.

Por qué la atribución por sí sola no responde esta pregunta

Los modelos de atribución, sean de último clic o basados en datos, reparten el crédito entre los puntos de contacto que precedieron a una conversión. No pueden decirte si la conversión habría ocurrido de todos modos. El retargeting es el ejemplo clásico: alcanza a personas que ya están cerca de comprar, así que gana números de atribución fuertes mientras muchas veces agrega poco ingreso incremental.

La prueba de incrementalidad corrige esto construyendo un contrafactual. El grupo retenido te muestra qué pasa sin el anuncio, así que la comparación aísla la causa de la correlación. Es la lógica de un ensayo clínico aplicada al gasto en medios, y es la única forma de separar la demanda que tus anuncios crearon de la que solo interceptaron.

Cómo correr una prueba de holdout de audiencia

Una prueba de holdout de audiencia divide al azar a los usuarios elegibles en un grupo de prueba que ve tus anuncios y un grupo de control que no. Como la división es aleatoria, cualquier diferencia en la tasa de conversión entre los grupos es atribuible a los anuncios mismos.

1. Elige un canal y un evento de conversión. Probar todo a la vez produce un resultado ilegible.
2. Divide la audiencia al azar, típicamente 80 a 90 por ciento de prueba y 10 a 20 por ciento de control.
3. Suprime los anuncios para el grupo de control usando la herramienta de estudio de lift de la plataforma, ya que normalmente no puedes imponerlo tú mismo dentro de los jardines amurallados.
4. Corre hasta que cada grupo tenga al menos unos cientos de conversiones. Los datos escasos producen intervalos de confianza demasiado amplios para actuar.
5. Compara las tasas de conversión y calcula el lift: tasa de prueba menos tasa de control, dividido entre la tasa de control.

Las limitaciones principales son que dependes de la herramienta y la honestidad de la propia plataforma, y que el comportamiento cross-device puede contaminar el grupo de control cuando un usuario retenido simplemente ve el anuncio en otro dispositivo.

Cómo correr una prueba geo de holdout

Una prueba geo usa regiones en vez de usuarios, lo que significa que no se rastrea a ningún individuo. Cambias el gasto en algunos mercados y lo mantienes estable en otros comparables, luego lees la diferencia en ventas agregadas.

1. Selecciona mercados que se comporten de forma similar en ventas históricas, estacionalidad y población, para que la comparación arranque de una base justa.
2. Asigna mercados de tratamiento y de control, idealmente con un método de control sintético que construye una comparación ponderada a partir de varias regiones.
3. Haz un cambio de gasto significativo. Apagar los anuncios en los mercados de tratamiento, o subir el gasto de 50 a 100 por ciento, produce una señal legible; un ajuste del 10 por ciento se ahoga en el ruido.
4. Corre de cuatro a ocho semanas, luego compara las ventas reales en los mercados de tratamiento contra el contrafactual modelado.

Cuidado con la contaminación: promociones nacionales, cobertura de prensa o zonas de entrega que cruzan las fronteras de los mercados pueden difuminar la comparación y darte un número de lift en el que no puedes confiar.

Holdout vs geo: cuál elegir

Usa holdouts de audiencia cuando quieres una lectura rápida del rendimiento de una plataforma. Usa pruebas geo cuando quieres una respuesta independiente de la plataforma, cuando el tracking es limitado, o cuando el canal no tiene señal de clic confiable, como TV, audio o campañas con influencers.

Errores que invalidan las pruebas

La falla más común es correr una prueba demasiado pequeña o corta, y luego actuar sobre el ruido como si fuera señal. La segunda es probar durante picos promocionales como Black Friday, cuando los saltos de demanda inundan el efecto de medios que intentabas aislar. Otras incluyen detenerse temprano porque el resultado luce bien, cambiar creativos o presupuestos a mitad de la prueba, y tratar un solo resultado como verdad permanente cuando la incrementalidad se mueve a medida que las audiencias se saturan con el tiempo.

Leer el resultado sin engañarte

Un número de lift llega con un intervalo de confianza, e ignorar ese rango es como las buenas pruebas producen malas decisiones. Si tu prueba dice que un canal generó 12 por ciento de lift incremental pero el intervalo va de menos 3 a más 27 por ciento, no probaste que el canal funciona; probaste que tu prueba tuvo poca potencia. Trata un intervalo amplio como una señal para correr más tiempo o concentrar el gasto, no como permiso para redondear hacia la cifra del titular. También vale la pena traducir el lift a ROAS incremental y compararlo contra tu margen, porque un canal puede registrar un lift estadísticamente real que aún así no sea rentable una vez que descuentas los medios que costó producirlo. El objetivo de probar es una decisión que puedas defender, y una decisión defendible respeta la incertidumbre que las matemáticas de verdad cargan.

Dónde encajan las pruebas en tu medición cotidiana

Las pruebas de incrementalidad son periódicas y precisas, pero no puedes correrlas en cada canal cada semana. El modelo práctico es usar las pruebas de lift para calibrar la atribución y el modelado en los que confías a diario, para que tus números cotidianos hereden la verdad que revelan las pruebas. Admira es una plataforma de medición que reúne atribución multi-touch, marketing mix modeling y pruebas de incrementalidad en un solo lugar, sobre una sola fuente de verdad y sin puntos ciegos, con tracking cookieless-first e implementación en unas dos semanas sin ingeniería. Si quieres que tus pruebas de lift y tu atribución del día a día vivan en el mismo dashboard, agenda una demo.

Preguntas frecuentes

¿Cuánto debe durar una prueba de incrementalidad?

Los holdouts de audiencia suelen necesitar de dos a cuatro semanas para acumular suficientes conversiones y dar un resultado legible. Las pruebas geo típicamente necesitan de cuatro a ocho semanas porque los datos de ventas regionales son más ruidosos y necesitas un pre-periodo y un post-periodo limpios para comparar. Correrla por menos tiempo lleva a actuar sobre ruido.

¿Las marcas pequeñas pueden costear pruebas de incrementalidad?

Sí, con ajustes. Los estudios de lift de las plataformas suelen ser gratis por encima de un umbral modesto de gasto, y una prueba geo simple de dos mercados solo cuesta los medios que ya estabas comprando. La restricción real es el volumen de conversiones, no el presupuesto, así que las marcas pequeñas deberían probar primero su canal más grande.

¿Qué es un buen ROAS incremental?

No hay un benchmark universal. El ROAS incremental suele ser más bajo que el ROAS reportado por la plataforma, a veces de forma drástica en retargeting, porque las plataformas se atribuyen conversiones que habrían ocurrido de todos modos. La comparación útil es contra tu umbral de margen: si un canal es incrementalmente rentable, escálalo; si no, reasigna.

¿Con qué frecuencia debo repetir las pruebas?

Vuelve a probar tus canales más grandes una o dos veces al año, y repítelas tras cambios importantes como una nueva estrategia de creativos, una expansión de audiencia o un cambio grande de presupuesto. La incrementalidad se mueve a medida que las audiencias se saturan, así que un resultado es una foto, no una verdad permanente. Usa cada prueba para recalibrar tu atribución cotidiana.