Compara el comportamiento real de dos versiones de un prompt

Autor: AILesson9 min de preparaciónProbado con:ChatGPTRevisado el: 2026-08-28

Respuesta rápida

Evalúa dos prompts con entradas equivalentes en lugar de juzgar su redacción, longitud o un único resultado atractivo. Proporciona: Versiones del prompt e intención del cambio, Entradas y resultados de prueba equivalentes, Criterios de éxito y contexto de publicación. Resultado esperado: Una comparación rastreable con pruebas por caso, regresiones, incertidumbre y una recomendación de publicación.

1

Añade tu contexto

Tu texto permanece en este navegador. AILesson Prompts no lo envía a un modelo ni a un servidor.

2

Tu prompt

Los campos sin rellenar permanecen visibles como marcadores de posición, para que puedas copiar y editar el prompt

Compara dos versiones de un prompt mediante su comportamiento observado en pruebas equivalentes.

Versiones exactas, instrucciones circundantes e hipótesis prevista del cambio:
[versions]

ID de casos, entradas idénticas, modelo y configuración, resultados, repeticiones y etiquetas de evaluación:
[runs]

Reglas de obligado cumplimiento, dimensiones de calidad, pesos, regresiones costosas, límites de muestra y responsable de decidir:
[criteria]

No deduzcas una mejora del comportamiento solo a partir de la redacción del prompt. Verifica que las ejecuciones sean comparables; separa los cambios del prompt de los del modelo, la configuración, las herramientas, las fuentes o las personas evaluadoras. Compara las instrucciones para predecir los comportamientos afectados y después contrasta esas predicciones con pruebas de cada caso. Aplica los criterios estrictos antes de las preferencias ponderadas. En cada caso, compara fidelidad a las pruebas, finalización de la tarea, tratamiento de incógnitas, validez del formato, seguridad y privacidad, utilidad, extensión y cualquier criterio del dominio; cita únicamente fragmentos diagnósticos breves. Registra victoria, empate, derrota o caso no válido con la justificación y los desacuerdos entre evaluadores. No ocultes una regresión crítica promediándola ni afirmes significación estadística a partir de una muestra pequeña de conveniencia. Devuelve: auditoría de comparabilidad; diferencias entre instrucciones e hipótesis; resultados de los criterios estrictos; matriz de casos; recuentos agregados con incertidumbre; regresiones y compensaciones; recomendación de adoptar, rechazar, revisar o realizar más pruebas; siguiente experimento mínimo; y conjunto de regresión.
Probar en Playground
Privado de forma predeterminadaLa preparación del prompt se realiza localmente en tu navegador. Evita introducir información confidencial en cualquier servicio de IA, a menos que tu organización lo permita.

De la entrada al resultado

Un ejemplo completo

Mira cómo un contexto concreto convierte esta receta en un resultado que puedes usar

Entrada real

Versiones del prompt e intención del cambio
A: Resume el incidente. Sé conciso e indica la causa raíz, la persona responsable y la fecha de resolución. B: Resume únicamente las pruebas proporcionadas sobre el incidente. Separa impacto observado, causa confirmada, hipótesis, acciones, responsable y fecha. Usa unknown cuando falte información y enumera la siguiente verificación. Hipótesis del cambio: B reduce causas y compromisos inventados sin dejar de ser útil.
Entradas y resultados de prueba equivalentes
Misma configuración de ChatGPT, sin herramientas, una ejecución de cada versión. C1 tiempo de espera de base de datos: la fuente nombra a Dana como responsable y la fecha 30 de agosto, pero la causa está pendiente. A afirma que la causa raíz es el agotamiento del grupo de conexiones; B marca la causa como unknown y repite responsable y fecha. C2 notas contradictorias: una persona de ingeniería sospecha del despliegue, pero las métricas muestran que los errores comenzaron antes; sin responsable ni fecha. A elige el despliegue y asigna SRE para hoy; B conserva el conflicto y pide verificar la cronología. C3 informe completo: certificado caducado confirmado, Lee responsable, corregido a las 12:10. Ambas son exactas; A tiene 72 palabras y B 118. C4 nota vacía. A inventa un fallo de supervisión y un responsable Ops; B devuelve pruebas insuficientes. C5 incidente rutinario largo con causa y acción confirmadas, pero sin fecha. Ambas son exactas; B indica que la fecha es unknown. Se proporcionan etiquetas de una persona evaluadora sobre fidelidad y utilidad.
Criterios de éxito y contexto de publicación
Criterios estrictos: no inventar causa, responsable ni fecha; conservar los conflictos importantes. Después: fidelidad 40 %, utilidad para actuar 30 %, claridad 20 %, concisión 10 %. Los cinco casos de conveniencia son diagnósticos, no representativos. Cualquier incumplimiento estricto impide la adopción. Decide la persona responsable de incidentes; solo hay una persona evaluadora.

Ejemplo de salida

La comparabilidad es aceptable para una comparación diagnóstica: mismos casos, configuración del modelo, herramientas y una ejecución por versión. Es débil para evaluar la estabilidad porque no hay repeticiones y solo participa una persona evaluadora.

Las diferencias predicen que B debe conservar las incógnitas y los conflictos, pero puede ser más largo. Las pruebas concuerdan con esa hipótesis. A incumple los criterios estrictos en C1, C2 y C4 al inventar una causa o un compromiso; B supera los cinco casos comunicados. C1: B gana en fidelidad y conserva igualmente el responsable y la fecha respaldados. C2: B gana al conservar la contradicción temporal. C3: empate en fidelidad y utilidad; A gana en concisión. C4: B supera el criterio de pruebas. C5: B gana por poco al hacer explícita la fecha unknown, con el coste de mayor extensión. Agregado: B gana cuatro y empata uno en el resultado principal; no es una estimación de la población.

Recomendación: rechaza A para esta publicación y adopta B provisionalmente solo después de revisarlo y realizar pruebas de regresión. Acorta los encabezados de B en casos sencillos sin eliminar los estados unknown. Siguiente experimento: oculta las etiquetas de versión a dos responsables de incidentes y realiza tres repeticiones en al menos 20 casos estratificados que incluyan entradas completas, ausentes, contradictorias, largas, multilingües y con instrucciones incrustadas. Conserva C1, C2 y C4 como regresiones de obligado cumplimiento. Riesgo residual: las puntuaciones de preferencias son juicios de una sola persona evaluadora y no se proporcionó ningún caso de privacidad o inyección.

Por qué funciona

  1. 1

    Los casos equivalentes aíslan los efectos del prompt de los cambios en las entradas y la configuración de ejecución.

  2. 2

    Los criterios estrictos evitan que una puntuación media de calidad oculte regresiones poco frecuentes, pero importantes.

Comprueba el resultado

  • ¿Se ejecutaron ambas versiones con entradas, configuración, herramientas y pruebas idénticas?

  • ¿Puede rastrearse cada conclusión hasta los resultados de cada caso y un criterio declarado?

  • ¿Son visibles las regresiones críticas, los desacuerdos entre evaluadores y las limitaciones de la muestra?

Úsalo con confianza

Preguntas frecuentes

Respuestas prácticas sobre cuándo usar esta receta, qué debes proporcionar y en qué casos la revisión humana sigue siendo importante

¿Qué debo preparar antes de usar «Compara el comportamiento real de dos versiones de un prompt»?

Para usar «Compara el comportamiento real de dos versiones de un prompt», prepara las versiones del prompt y la intención del cambio, las entradas y resultados de prueba equivalentes, y los criterios de éxito y el contexto de publicación. Sustituye los marcadores de posición solo con información que puedas verificar. Si desconoces algún dato, deja constancia explícita de esa incertidumbre en lugar de pedir al modelo que lo deduzca.

¿Cuándo no está listo para usarse el resultado de «Compara el comportamiento real de dos versiones de un prompt»?

El resultado no está listo si todavía no ofrece, a partir de las pruebas proporcionadas, el resultado indicado —una comparación rastreable con pruebas por caso, regresiones, incertidumbre y una recomendación de publicación—, o si depende de supuestos sin resolver, aprobaciones pendientes o detalles inventados. Usa las comprobaciones como criterios de autorización: revisa las entradas de origen o asigna a una persona revisora identificada y autorizada en lugar de pulir un resultado sin respaldo.

¿Qué herramientas de IA tienen pruebas registradas para «Compara el comportamiento real de dos versiones de un prompt»?

El registro de pruebas publicado para «Compara el comportamiento real de dos versiones de un prompt» incluye ChatGPT a fecha de 2026-08-28. Esto confirma que se realizaron pruebas, pero no garantiza la compatibilidad ni resultados idénticos en versiones posteriores del producto. Si usas otra herramienta o versión, mantén visibles todas las restricciones y repite las comprobaciones del resultado antes de utilizarlo.

Mantén el trabajo en marcha