Cadastre-se grátis

Crie uma pasta de trabalho para resultados de teste A/B

Autor: AILesson9 min de configuraçãoTestado com:ChatGPTRevisado em: 2026-08-28

Resposta rápida

Estruture atribuição, exposição, resultados, exclusões, incerteza e regras de decisão sem exagerar as conclusões de um teste. Forneça: Desenho do experimento, Esquema de dados e contagens, Métricas e regras de análise. Resultado esperado: Uma pasta de trabalho de experimento auditável, com definições de métricas, fórmulas, verificações de equilíbrio e notas de decisão.

1

Adicione seu contexto

Seu texto permanece neste navegador. O AILesson Prompts não o envia para um modelo ou servidor.

2

Seu prompt

Campos não preenchidos permanecem visíveis como marcadores de posição, para que você ainda possa copiar e editar o prompt

Crie uma pasta de trabalho do Excel para o teste A/B fornecido sem transformar associação em uma afirmação causal mais forte do que o desenho permite.

Hipótese, variantes, randomização, elegibilidade, datas, interrupção, exclusões e responsável:
[design]

Campos, granularidade, IDs, atribuição, exposição, resultados, timestamps, dados ausentes, duplicatas, contagens e amostras:
[data]

Métricas, denominadores, população, método de confiança, limiar prático, segmentos, multiplicidade e limites da revisão:
[analysis]

Separe o plano do experimento dos resultados observados. Defina uma linha por unidade de randomização ou uma agregação reproduzível a partir de dados de eventos. Preserve o grupo atribuído mesmo quando não houver exposição na visualização primária por intenção de tratar; identifique qualquer análise por protocolo como secundária. Especifique fórmulas para denominador, taxa ou resultado contínuo, diferença absoluta e relativa, incerteza e métricas de proteção. Adicione verificações da proporção da amostra, elegibilidade, IDs duplicados, resultados ausentes, temporalidade, contaminação e equilíbrio anterior ao experimento. Não escolha um vencedor apenas pelo valor-p, não consulte resultados parciais sem a regra de interrupção planejada, não deduza efeitos no nível do usuário a partir de linhas de eventos e não afirme causalidade quando a atribuição não tiver sido randomizada. Retorne: arquitetura das planilhas; dicionário de dados; registro de métricas; fórmulas que usem as células/tabelas fornecidas; verificações de qualidade; tabela de resultados; política de segmentos; modelo de decisão; limitações; e testes que recalculam um pequeno exemplo conhecido.
Experimente no Playground
Privado por padrãoA montagem do prompt acontece localmente no seu navegador. Evite colocar informações confidenciais em qualquer serviço de IA, a menos que sua organização permita.

Da entrada ao resultado

Um exemplo prático

Veja como um contexto concreto transforma esta receita em um resultado útil

Entrada real

Desenho do experimento
Teste randomizado de assunto de e-mail para assinantes elegíveis da newsletter. O controle A é o assunto atual; B é um assunto mais curto. Unidade de randomização: ID do assinante; atribuição 1:1 em 3 de agosto de 2026, antes do envio. Um e-mail por assinante elegível. Hipótese primária: B aumenta a taxa de cliques únicos em até 72 horas. Executar uma vez para toda a lista elegível, sem interrupção antecipada. Excluir somente IDs internos/de teste previamente listados e hard bounces segundo a regra aprovada da métrica. A liderança de marketing é responsável pela decisão.
Esquema de dados e contagens
A exportação bruta de eventos pode conter várias linhas por assinante. Campos `SubscriberID`, `AssignedVariant`, `Eligible`, `Sent`, `HardBounce`, `UniqueClick72h`, `Unsubscribe72h`, `Revenue72h`, `AssignmentTime`, `SendTime`. Agregar em uma linha por `SubscriberID`. Contagens esperadas de atribuição A=5.012, B=4.988. Hard bounces A=102, B=98. Cliques únicos A=421, B=455. Cancelamentos de assinatura A=23, B=31. A receita tem distribuição assimétrica e está ausente em 14 linhas porque o rastreamento falhou. `SubscriberID` duplicado na atribuição é inválido. É possível detectar cruzamento de exposição se o assunto enviado for diferente da atribuição.
Métricas e regras de análise
O denominador primário da CTR única é o número de envios menos hard bounces, por variante atribuída; registre que isso difere da ITT pura com todas as pessoas atribuídas e forneça uma análise de sensibilidade com todas elas. Teste primário com intervalo de confiança bilateral de 95% para a diferença entre proporções. Limiar prático absoluto de +0,5 ponto percentual. Para a métrica de proteção de cancelamento de assinatura, o denominador é o número de envios e a margem de não inferioridade é +0,2 ponto percentual. Receita apenas como métrica secundária descritiva. Segmentos exploratórios com n e sem afirmar um vencedor; nenhum ajuste de multiplicidade planejado.

Exemplo de saída

Pasta de trabalho: Plan (hipótese, população, interrupção e limiares bloqueados), UnitData (uma linha por SubscriberID), MetricRegistry, QualityChecks, Results e DecisionLog. UnitData deve ser agregada a partir dos eventos com regras MAX explícitas para resultados binários e interrupção em caso de atribuição duplicada; nunca conte cliques como linhas independentes.

Os denominadores primários são A 5.012−102=4.910 e B 4.988−98=4.890. As CTRs são A 421/4.910=8,574% e B 455/4.890=9,305%; a diferença absoluta B−A=0,731 ponto percentual e o aumento relativo é de cerca de 8,53%. As fórmulas de taxa no Excel podem usar =SUMIFS(UnitData[UniqueClick72h],UnitData[AssignedVariant],A2)/SUMIFS(UnitData[PrimaryDenominatorFlag],UnitData[AssignedVariant],A2). Use um cálculo de confiança de duas proporções previamente aprovado ou uma ferramenta de análise revisada; não improvise o método estatístico depois de ver os resultados. A estimativa pontual supera o limiar prático de +0,5 pp, mas a decisão também exige o intervalo e a métrica de proteção.

Métrica de proteção: cancelamento de assinatura A 23/5.012=0,459%; B 31/4.988=0,622%; diferença +0,163 pp, abaixo, mas próxima, da margem de não inferioridade de +0,2 pp. Informe seu intervalo antes de declarar que a métrica de proteção foi atendida. QualityChecks: divisão atribuída de 50,12%/49,88%; compare com a alocação planejada usando a verificação aprovada da proporção da amostra; zero atribuições duplicadas; todas as atribuições anteriores ao envio; liste cruzamentos, pessoas inelegíveis, não envios, rastreamento ausente e exclusões por grupo. As CTRs da análise de sensibilidade com todas as pessoas atribuídas são 8,400% contra 9,122%. A receita permanece descritiva, com n/dados ausentes e mediana ou quantis, não como afirmação causal de sucesso. Modelo de decisão: prosseguir, aguardar ou rejeitar, citando o intervalo primário, o limiar prático, o intervalo da métrica de proteção, problemas de qualidade e qualquer divergência entre definições de denominador.

Por que isso funciona

  1. 1

    Manter explícitos a unidade de randomização e o denominador impede que o volume de eventos se passe por tamanho de amostra independente.

  2. 2

    Limiares de decisão e métricas de proteção mantêm a incerteza estatística ligada às consequências práticas.

Verifique o resultado

  • Cada linha de análise representa a unidade de randomização, mantendo a atribuição independentemente da exposição?

  • A métrica primária, o denominador, o método de incerteza, a regra de interrupção e o limiar prático foram definidos antes da leitura dos resultados?

  • Desequilíbrio, dados ausentes, contaminação, multiplicidade e métricas de proteção estão visíveis junto ao resultado?

Use com confiança

Perguntas frequentes

Respostas práticas sobre quando usar esta receita, o que fornecer e onde a revisão humana ainda é importante

O que devo preparar antes de usar “Crie uma pasta de trabalho para resultados de teste A/B”?

Para usar “Crie uma pasta de trabalho para resultados de teste A/B”, prepare o desenho do experimento, o esquema de dados e as contagens e as métricas e regras de análise. Substitua os espaços reservados apenas por informações que você possa verificar. Se algum detalhe for desconhecido, preserve explicitamente essa incerteza em vez de pedir ao modelo que o deduza.

Quando o resultado de “Crie uma pasta de trabalho para resultados de teste A/B” ainda não está pronto para uso?

O resultado ainda não está pronto se não entregar, com base nas evidências fornecidas, o resultado declarado — uma pasta de trabalho de experimento auditável, com definições de métricas, fórmulas, verificações de equilíbrio e notas de decisão — ou se depender de suposições não resolvidas, aprovações ausentes ou detalhes inventados. Use as verificações como critérios de liberação: revise os dados de origem ou designe uma pessoa identificada e autorizada para a revisão, em vez de aprimorar um resultado sem sustentação.

Quais ferramentas de IA têm testes registrados para “Crie uma pasta de trabalho para resultados de teste A/B”?

O registro de testes publicado para “Crie uma pasta de trabalho para resultados de teste A/B” inclui o ChatGPT até 2026-08-28. Isso confirma execuções registradas, não compatibilidade garantida nem resultados idênticos em versões posteriores do produto. Para outra ferramenta ou versão, mantenha todas as restrições visíveis e repita as verificações do resultado antes do uso.

Mais maneiras de explorar

Onde esta receita se encaixa

Prompts de textoAnálise de dadosExcel e planilhas

Mantenha o trabalho em andamento

AILesson · Cursos recomendados

Seu próximo passo: use a IA na prática

Passe de entender a IA para fazer as coisas acontecerem. Pratique como criar prompts, revisar e melhorar resultados por meio de lições interativas para o trabalho e o dia a dia.

Explore todos os cursos
Capa de IA para iniciantes

15 lições interativas

IA para iniciantes

Inicie uma conversa útil com IA, melhore a resposta, confira o que importa e saiba quando o próximo passo é seu.

Explore este curso
Capa de Fundamentos do ChatGPT

10 lições interativas

Fundamentos do ChatGPT

Aprenda a usar o ChatGPT por meio de três fluxos de trabalho práticos: conclua uma primeira conversa, trabalhe a partir de um arquivo e use Projects para levar um plano verificado a uma nova conversa.

Explore este curso
Capa de Como a IA generativa funciona

7 lições interativas

Como a IA generativa funciona

Entenda como chats comuns de IA aprendem padrões da linguagem, usam mensagens atuais, criam respostas e incorporam fontes e ferramentas.

Explore este curso