Diseñar un libro de resultados de una prueba A/B

Autor: AILesson9 min de preparaciónProbado con:ChatGPTRevisado el: 2026-08-28

Respuesta rápida

Estructura la asignación, la exposición, los resultados, las exclusiones, la incertidumbre y las reglas de decisión sin exagerar las conclusiones de una prueba. Proporciona: Diseño del experimento, Esquema de datos y recuentos, Métricas y reglas de análisis. Resultado esperado: Un libro de experimento auditable con definiciones de métricas, fórmulas, comprobaciones de equilibrio y notas de decisión.

1

Añade tu contexto

Tu texto permanece en este navegador. AILesson Prompts no lo envía a un modelo ni a un servidor.

2

Tu prompt

Los campos sin rellenar permanecen visibles como marcadores de posición, para que puedas copiar y editar el prompt

Diseña un libro de Excel para la prueba A/B indicada sin convertir una asociación en una afirmación causal más fuerte de lo que permite el diseño.

Hipótesis, variantes, aleatorización, criterios de inclusión, fechas, parada, exclusiones y responsable:
[design]

Campos, granularidad, ID, asignación, exposición, resultados, marcas de tiempo, datos ausentes, duplicados, recuentos y muestras:
[data]

Métricas, denominadores, población, método de confianza, umbral práctico, segmentos, multiplicidad y límites de revisión:
[analysis]

Separa el plan del experimento de los resultados observados. Define una fila por unidad de aleatorización o una agregación reproducible a partir de los datos de eventos. Conserva el grupo asignado aunque falle la exposición en el análisis principal por intención de tratar; etiqueta cualquier análisis por protocolo como secundario. Especifica fórmulas para el denominador, la tasa o el resultado continuo, la diferencia absoluta y relativa, la incertidumbre y las métricas de control. Añade comprobaciones de proporción de la muestra, criterios de inclusión, ID duplicados, resultados ausentes, tiempos, contaminación y equilibrio anterior al experimento. No elijas un ganador basándote únicamente en el valor p, no examines los resultados sin respetar la regla de parada prevista, no deduzcas efectos por usuario a partir de filas de eventos ni afirmes causalidad cuando la asignación no haya sido aleatoria. Devuelve: arquitectura de hojas; diccionario de datos; registro de métricas; fórmulas que usen las celdas/tablas proporcionadas; comprobaciones de calidad; tabla de resultados; política de segmentos; plantilla de decisión; limitaciones; y pruebas que vuelvan a calcular un pequeño ejemplo conocido.
Probar en Playground
Privado de forma predeterminadaLa preparación del prompt se realiza localmente en tu navegador. Evita introducir información confidencial en cualquier servicio de IA, a menos que tu organización lo permita.

De la entrada al resultado

Un ejemplo completo

Mira cómo un contexto concreto convierte esta receta en un resultado que puedes usar

Entrada real

Diseño del experimento
Prueba aleatorizada del asunto del correo electrónico para suscriptores que cumplen los criterios de inclusión del boletín. El control A es el asunto actual y B es un asunto más corto. Unidad de aleatorización: ID del suscriptor; asignación 1:1 el 3 de agosto de 2026 antes del envío. Un correo por suscriptor incluido. Hipótesis principal: B aumenta la tasa de clics únicos en un plazo de 72 horas. Ejecutar una sola vez con toda la lista incluida; sin parada anticipada. Excluir únicamente los ID internos/de prueba enumerados previamente y los rebotes duros según la regla aprobada de la métrica. La persona responsable de marketing toma la decisión.
Esquema de datos y recuentos
La exportación de eventos sin procesar puede contener muchas filas por suscriptor. Campos SubscriberID, AssignedVariant, Eligible, Sent, HardBounce, UniqueClick72h, Unsubscribe72h, Revenue72h, AssignmentTime, SendTime. Agregar a una fila por SubscriberID. Recuentos de asignación esperados A=5.012, B=4.988. Rebotes duros A=102, B=98. Clics únicos A=421, B=455. Bajas A=23, B=31. Los ingresos presentan sesgo y faltan en 14 filas por un fallo de seguimiento. Un SubscriberID duplicado en la asignación no es válido. Puede detectarse un cruce de exposición si el asunto enviado difiere de la asignación.
Métricas y reglas de análisis
El denominador principal de CTR único es el número de envíos menos los rebotes duros, por variante asignada; registrar que esto difiere de un ITT puro de todos los asignados y proporcionar un análisis de sensibilidad con todos los asignados. Prueba principal con intervalo de confianza bilateral del 95% para la diferencia de proporciones. Umbral práctico absoluto de +0,5 puntos porcentuales. La métrica de control es la tasa de bajas con los envíos como denominador y un margen de no inferioridad de +0,2 puntos porcentuales. Los ingresos son una métrica secundaria únicamente descriptiva. Los segmentos son exploratorios, con n y sin afirmar un ganador; no se prevé ningún ajuste por multiplicidad.

Ejemplo de salida

Libro: Plan (hipótesis, población, parada y umbrales bloqueados), UnitData (una fila por SubscriberID), MetricRegistry, QualityChecks, Results y DecisionLog. UnitData debe agregarse a partir de los eventos con reglas MAX explícitas para los resultados binarios y una parada ante asignaciones duplicadas; nunca cuentes los clics como filas independientes.

Los denominadores principales son A 5.012−102=4.910 y B 4.988−98=4.890. Los CTR son A 421/4.910=8,574% y B 455/4.890=9,305%; la diferencia absoluta B−A=0,731 puntos porcentuales y el aumento relativo es de aproximadamente 8,53%. Las fórmulas de tasa de Excel pueden usar =SUMIFS(UnitData[UniqueClick72h],UnitData[AssignedVariant],A2)/SUMIFS(UnitData[PrimaryDenominatorFlag],UnitData[AssignedVariant],A2). Usa un cálculo aprobado previamente del intervalo de confianza para dos proporciones o una herramienta de análisis revisada; no improvises el método estadístico después de ver los resultados. La estimación puntual supera el umbral práctico de +0,5 pp, pero la decisión también requiere el intervalo y la métrica de control.

Métrica de control: bajas en A 23/5.012=0,459%; en B 31/4.988=0,622%; diferencia +0,163 pp, inferior pero cercana al margen de no inferioridad de +0,2 pp. Comunica su intervalo antes de afirmar que se cumple la métrica de control. QualityChecks: reparto asignado 50,12%/49,88%; compararlo con la asignación prevista mediante la comprobación aprobada de proporción de la muestra; cero asignaciones duplicadas; todas las asignaciones anteriores al envío; enumerar por grupo los cruces, los casos no incluidos, los no enviados, los seguimientos ausentes y las exclusiones. Los CTR del análisis de sensibilidad con todos los asignados son 8,400% frente a 9,122%. Los ingresos siguen siendo descriptivos, con n/datos ausentes y mediana o cuantiles, no una afirmación causal de éxito. Plantilla de decisión: continuar, esperar o rechazar, citando el intervalo principal, el umbral práctico, el intervalo de la métrica de control, los problemas de calidad y cualquier divergencia entre las definiciones del denominador.

Por qué funciona

  1. 1

    Mantener explícitos la unidad de aleatorización y el denominador evita que el volumen de eventos aparente ser un tamaño de muestra independiente.

  2. 2

    Los umbrales de decisión y las métricas de control mantienen la incertidumbre estadística vinculada a las consecuencias prácticas.

Comprueba el resultado

  • ¿Cada fila de análisis representa la unidad de aleatorización y conserva la asignación independientemente de la exposición?

  • ¿La métrica principal, el denominador, el método de incertidumbre, la regla de parada y el umbral práctico están definidos antes de leer los resultados?

  • ¿El desequilibrio, los datos ausentes, la contaminación, la multiplicidad y las métricas de control aparecen junto al resultado?

Úsalo con confianza

Preguntas frecuentes

Respuestas prácticas sobre cuándo usar esta receta, qué debes proporcionar y en qué casos la revisión humana sigue siendo importante

¿Qué debo preparar antes de usar «Diseñar un libro de resultados de una prueba A/B»?

Para usar «Diseñar un libro de resultados de una prueba A/B», prepara el diseño del experimento, el esquema de datos y los recuentos, y las métricas y reglas de análisis. Sustituye los marcadores de posición solo con información que puedas verificar. Si desconoces algún detalle, indica expresamente esa incertidumbre en lugar de pedir al modelo que lo deduzca.

¿Cuándo no está listo para usar el resultado de «Diseñar un libro de resultados de una prueba A/B»?

El resultado no está listo si todavía no ofrece, a partir de las pruebas proporcionadas, el resultado indicado —un libro de experimento auditable con definiciones de métricas, fórmulas, comprobaciones de equilibrio y notas de decisión—, o si depende de suposiciones sin resolver, aprobaciones pendientes o detalles inventados. Usa las comprobaciones como criterios de aprobación: revisa los datos de origen o asigna a una persona concreta y autorizada para la revisión, en lugar de pulir un resultado sin fundamento.

¿Qué herramientas de IA tienen pruebas registradas para «Diseñar un libro de resultados de una prueba A/B»?

El registro de pruebas publicado para «Diseñar un libro de resultados de una prueba A/B» incluye ChatGPT a fecha de 2026-08-28. Esto confirma que se realizaron pruebas, pero no garantiza la compatibilidad ni resultados idénticos en versiones posteriores del producto. Si usas otra herramienta o versión, mantén visibles todas las restricciones y repite las comprobaciones del resultado antes de usarlo.

Más formas de explorar

Dónde encaja esta receta

Mantén el trabajo en marcha