Cadastre-se grátis

Compare o comportamento real de duas versões de um prompt

Autor: AILesson9 min de configuraçãoTestado com:ChatGPTRevisado em: 2026-08-28

Resposta rápida

Avalie dois prompts com entradas correspondentes, em vez de julgar a redação, o tamanho ou uma única resposta atraente. Forneça: Versões do prompt e intenção da mudança, Entradas e saídas correspondentes dos testes, Critérios de sucesso e contexto do lançamento. Resultado esperado: Uma comparação rastreável, com evidências por caso, regressões, incerteza e uma recomendação de lançamento.

1

Adicione seu contexto

Seu texto permanece neste navegador. O AILesson Prompts não o envia para um modelo ou servidor.

2

Seu prompt

Campos não preenchidos permanecem visíveis como marcadores de posição, para que você ainda possa copiar e editar o prompt

Compare duas versões de um prompt usando o comportamento observado em testes correspondentes.

Versões exatas, instruções que as acompanham e hipótese pretendida para a mudança:
[versions]

IDs dos casos, entradas idênticas, modelo/configurações, saídas, repetições e avaliações:
[runs]

Regras obrigatórias, dimensões de qualidade, pesos, regressões de alto impacto, limitações da amostra e responsável pela decisão:
[criteria]

Não conclua que houve melhoria de comportamento apenas com base na redação do prompt. Verifique se as execuções são comparáveis; diferencie mudanças no prompt de mudanças no modelo, nas configurações, na ferramenta, na fonte ou no avaliador. Compare as instruções para prever os comportamentos afetados e, então, confronte essas previsões com evidências de cada caso. Aplique critérios eliminatórios antes das preferências ponderadas. Em cada caso, compare fidelidade às evidências, conclusão da tarefa, tratamento de informações desconhecidas, validade do formato, segurança/privacidade, utilidade, nível de detalhamento e eventuais critérios do domínio; cite somente trechos curtos para diagnóstico. Registre vitória, empate, derrota ou caso inválido, com justificativa e divergências entre avaliadores. Não deixe que uma média oculte uma regressão crítica nem alegue significância estatística com base em uma pequena amostra de conveniência. Retorne: auditoria de comparabilidade; diferenças entre as instruções e hipóteses; resultados dos critérios eliminatórios; matriz de casos; contagens agregadas com incerteza; regressões e compensações; recomendação para adotar, rejeitar, revisar ou realizar mais testes; próximo experimento mínimo; e um conjunto de testes de regressão.
Experimente no Playground
Privado por padrãoA montagem do prompt acontece localmente no seu navegador. Evite colocar informações confidenciais em qualquer serviço de IA, a menos que sua organização permita.

Da entrada ao resultado

Um exemplo prático

Veja como um contexto concreto transforma esta receita em um resultado útil

Entrada real

Versões do prompt e intenção da mudança
A: Resuma o incidente. Seja conciso e informe a causa raiz, o responsável e a data de resolução. B: Resuma somente as evidências fornecidas sobre o incidente. Separe impacto observado, causa confirmada, hipóteses, ações, responsável e data. Use unknown quando a informação estiver ausente e liste a próxima verificação. Hipótese da mudança: B reduz causas e compromissos inventados sem deixar de ser útil.
Entradas e saídas correspondentes dos testes
Mesma configuração do ChatGPT, sem ferramentas, uma execução de cada versão. C1, tempo limite do banco de dados: a fonte indica Dana como responsável e 30 de agosto como data, mas a causa está pendente. A afirma que a causa raiz é o esgotamento do pool de conexões; B marca a causa como unknown e repete responsável/data. C2, notas conflitantes: o engenheiro suspeita da implantação, mas as métricas mostram que os erros começaram antes dela; não há responsável/data. A escolhe a implantação e atribui a correção ao SRE para hoje; B preserva o conflito e solicita a verificação da cronologia. C3, análise completa: certificado expirado confirmado, Lee responsável, corrigido às 12:10. Ambas são precisas; A tem 72 palavras, B tem 118. C4, nota vazia. A inventa uma falha de monitoramento e atribui a responsabilidade a Ops; B informa que as evidências são insuficientes. C5, incidente rotineiro longo, com causa/ação confirmadas, mas sem data. Ambas são precisas; B informa que a data é unknown. Foram fornecidas avaliações de fidelidade e utilidade.
Critérios de sucesso e contexto do lançamento
Critérios eliminatórios: não inventar causa, responsável ou data; preservar conflitos relevantes. Em seguida, fidelidade 40%, utilidade para agir 30%, clareza 20%, concisão 10%. Os cinco casos de conveniência servem para diagnóstico, não são representativos. Qualquer falha em um critério eliminatório impede a adoção. O gerente de incidentes decide; há apenas um avaliador.

Exemplo de saída

A comparabilidade é aceitável para uma avaliação de diagnóstico: mesmos casos, mesma configuração do modelo, mesmas ferramentas e uma execução por versão. Ela é fraca para avaliar estabilidade, pois não há repetições e existe apenas um avaliador.

A diferença entre as instruções prevê que B preserve informações desconhecidas e conflitos, mas possa ser mais longa. As evidências confirmam essa hipótese. A falha nos critérios eliminatórios em C1, C2 e C4 ao inventar uma causa ou um compromisso; B passa nos cinco casos informados. C1: B vence em fidelidade, preservando o mesmo responsável e a mesma data respaldados. C2: B vence por manter a contradição cronológica. C3: empate em fidelidade e utilidade; A vence em concisão. C4: B vence no critério de evidências. C5: B vence por pequena margem ao explicitar que a data é unknown, com o custo de ser mais extensa. Agregado: B vence quatro casos e empata um no resultado principal; isso não é uma estimativa da população.

Recomendação: rejeitar A para este lançamento e adotar B provisoriamente somente após revisão e testes de regressão. Encurte os títulos de B nos casos simples sem remover os estados unknown. Próximo experimento: sem revelar os rótulos das versões a dois gerentes de incidentes, faça três repetições em pelo menos 20 casos estratificados, incluindo entradas completas, com dados ausentes, com conflitos, longas, multilíngues e com instruções incorporadas. Mantenha C1, C2 e C4 como regressões obrigatórias. Risco residual: as pontuações de preferência refletem o julgamento de um único avaliador, e não foi fornecido nenhum caso de privacidade ou injeção.

Por que isso funciona

  1. 1

    Casos correspondentes isolam os efeitos do prompt das mudanças nas entradas e nas configurações de execução.

  2. 2

    Critérios eliminatórios impedem que uma pontuação média de qualidade oculte regressões raras, porém relevantes.

Verifique o resultado

  • As duas versões foram executadas com entradas, configurações, ferramentas e evidências idênticas?

  • É possível rastrear cada conclusão até as saídas de cada caso e um critério declarado?

  • As regressões críticas, as divergências entre avaliadores e as limitações da amostra estão visíveis?

Use com confiança

Perguntas frequentes

Respostas práticas sobre quando usar esta receita, o que fornecer e onde a revisão humana ainda é importante

O que devo preparar antes de usar “Compare o comportamento real de duas versões de um prompt”?

Para usar “Compare o comportamento real de duas versões de um prompt”, prepare as versões do prompt e a intenção da mudança, as entradas e saídas correspondentes dos testes e os critérios de sucesso e o contexto do lançamento. Substitua os campos reservados somente por informações que você possa verificar. Se algum detalhe for desconhecido, preserve explicitamente essa incerteza em vez de pedir ao modelo que o deduza.

Quando o resultado de “Compare o comportamento real de duas versões de um prompt” ainda não está pronto para uso?

O resultado não está pronto se ainda não produzir, com base nas evidências fornecidas, o resultado declarado — uma comparação rastreável, com evidências por caso, regressões, incerteza e uma recomendação de lançamento — ou se depender de suposições não resolvidas, aprovações ausentes ou detalhes inventados. Use as verificações como critérios de liberação: revise os dados de origem ou designe um revisor identificado e autorizado, em vez de aprimorar um resultado sem respaldo.

Quais ferramentas de IA têm testes registrados para “Compare o comportamento real de duas versões de um prompt”?

O registro de testes publicado para “Compare o comportamento real de duas versões de um prompt” inclui o ChatGPT em 2026-08-28. Isso confirma execuções registradas, não a compatibilidade garantida nem resultados idênticos em versões posteriores do produto. Ao usar outra ferramenta ou versão, mantenha todas as restrições visíveis e repita as verificações do resultado antes do uso.

Mais maneiras de explorar

Onde esta receita se encaixa

Prompts de textoFeedback e revisãoDesign de promptsPara escritores

Mantenha o trabalho em andamento

AILesson · Cursos recomendados

Seu próximo passo: use a IA na prática

Passe de entender a IA para fazer as coisas acontecerem. Pratique como criar prompts, revisar e melhorar resultados por meio de lições interativas para o trabalho e o dia a dia.

Explore todos os cursos
Capa de IA para iniciantes

15 lições interativas

IA para iniciantes

Inicie uma conversa útil com IA, melhore a resposta, confira o que importa e saiba quando o próximo passo é seu.

Explore este curso
Capa de Fundamentos do ChatGPT

10 lições interativas

Fundamentos do ChatGPT

Aprenda a usar o ChatGPT por meio de três fluxos de trabalho práticos: conclua uma primeira conversa, trabalhe a partir de um arquivo e use Projects para levar um plano verificado a uma nova conversa.

Explore este curso
Capa de Como a IA generativa funciona

7 lições interativas

Como a IA generativa funciona

Entenda como chats comuns de IA aprendem padrões da linguagem, usam mensagens atuais, criam respostas e incorporam fontes e ferramentas.

Explore este curso