S'inscrire gratuitement

Comparer le comportement réel de deux versions d’un prompt

Auteur: AILesson9 min de préparationTesté avec:ChatGPTRévisé: 2026-08-28

Réponse rapide

Évaluer deux prompts sur des entrées appariées plutôt que d’en juger la formulation, la longueur ou une seule sortie séduisante. Fournir: Versions du prompt et intention de la modification, Entrées et sorties de test appariées, Critères de réussite et contexte de publication. Résultat attendu: Une comparaison traçable, avec preuves par cas, régressions, incertitude et recommandation de publication.

1

Ajouter votre contexte

Votre texte reste dans ce navigateur. AILesson Prompts ne l’envoie ni à un modèle ni à un serveur.

2

Votre prompt

Les champs non remplis restent visibles sous forme d’espaces réservés, afin que vous puissiez quand même copier et modifier le prompt.

Comparez deux versions d’un prompt à partir de leur comportement observé sur des tests appariés.

Versions exactes, instructions environnantes et hypothèse sur l’effet recherché de la modification :
[versions]

Identifiants des cas, entrées identiques, modèle et paramètres, sorties, répétitions et évaluations :
[runs]

Règles impératives, dimensions de qualité, pondérations, régressions coûteuses, limites de l’échantillon et responsable de la décision :
[criteria]

Ne déduisez pas une amélioration du comportement de la seule formulation du prompt. Vérifiez que les exécutions sont comparables ; distinguez les modifications du prompt de celles du modèle, des paramètres, des outils, des sources ou des évaluateurs. Comparez les instructions pour prévoir les comportements concernés, puis confrontez ces prévisions aux preuves propres à chaque cas. Appliquez les conditions impératives avant les préférences pondérées. Pour chaque cas, comparez la fidélité aux preuves, l’achèvement de la tâche, le traitement des inconnues, la validité du format, la sécurité et la confidentialité, l’utilité, la verbosité et les éventuels critères du domaine ; ne citez que de courts extraits diagnostiques. Consignez une victoire, une égalité, une défaite ou un cas non valide avec sa justification et les désaccords entre évaluateurs. Ne laissez pas une moyenne masquer une régression critique et ne prétendez pas à une signification statistique à partir d’un petit échantillon de commodité. Fournissez : un audit de comparabilité ; les différences entre instructions et les hypothèses ; les résultats des conditions impératives ; une matrice des cas ; les nombres agrégés avec leur incertitude ; les régressions et compromis ; une recommandation d’adopter, rejeter, réviser ou effectuer davantage de tests ; la prochaine expérience minimale ; et un ensemble de tests de régression.
Essayer dans le Playground
Privé par défautL’assemblage du prompt se fait localement dans votre navigateur. Évitez de placer des informations confidentielles dans un service d’IA, sauf si votre organisation l’autorise.

De l'entrée au résultat

Un exemple détaillé

Voyez comment un contexte concret transforme cette recette en résultat utilisable.

Entrée réelle

Versions du prompt et intention de la modification
A : Résumez l’incident. Soyez concis et fournissez la cause racine, le responsable et la date de résolution. B : Résumez uniquement les preuves fournies sur l’incident. Distinguez l’impact observé, la cause confirmée, les hypothèses, les actions, le responsable et la date. Utilisez unknown lorsque l’information manque et indiquez la prochaine vérification. Hypothèse de modification : B réduit les causes et engagements inventés tout en restant utile.
Entrées et sorties de test appariées
Même configuration ChatGPT, aucun outil, une exécution de chaque version. C1, délai d’attente de la base de données : la source désigne Dana comme responsable et donne la date du 30 août, mais la cause reste en attente. A affirme que la cause racine est l’épuisement du pool de connexions ; B marque la cause unknown et reprend le responsable et la date. C2, notes contradictoires : un ingénieur soupçonne le déploiement, mais les indicateurs montrent que les erreurs ont commencé avant ; aucun responsable ni date. A retient le déploiement et attribue l’action au SRE pour aujourd’hui ; B préserve le conflit et demande de vérifier la chronologie. C3, post-mortem complet : certificat expiré confirmé, Lee responsable, correction à 12:10. Les deux sont exactes ; A compte 72 mots, B 118. C4, note vide. A invente une défaillance de la surveillance et désigne Ops ; B répond que les preuves sont insuffisantes. C5, long incident courant avec cause et action confirmées, mais sans date. Les deux sont exactes ; B indique date unknown. Évaluations du réviseur fournies pour la fidélité et l’utilité.
Critères de réussite et contexte de publication
Conditions impératives : ne pas inventer la cause, le responsable ou la date ; conserver les conflits importants. Puis fidélité 40 %, utilité pour l’action 30 %, clarté 20 %, concision 10 %. Les cinq cas de commodité sont diagnostiques et non représentatifs. Tout échec à une condition impérative bloque l’adoption. Le responsable des incidents décide ; un seul évaluateur.

Exemple de sortie

La comparabilité est acceptable pour une comparaison diagnostique : mêmes cas, même configuration du modèle, mêmes outils et une exécution par version. Elle est faible pour évaluer la stabilité, car il n’y a aucune répétition et un seul évaluateur.

Les différences entre les instructions laissent prévoir que B devrait préserver les inconnues et les conflits, mais pourrait être plus longue. Les preuves correspondent à cette hypothèse. A échoue aux conditions impératives dans C1, C2 et C4 en inventant une cause ou un engagement ; B satisfait les cinq cas rapportés. C1 : B l’emporte en fidélité tout en conservant le même responsable et la même date étayés. C2 : B l’emporte en préservant la contradiction chronologique. C3 : égalité sur la fidélité et l’utilité ; A l’emporte en concision. C4 : B satisfait la condition relative aux preuves. C5 : B l’emporte de peu en signalant explicitement la date inconnue, au prix d’une plus grande verbosité. Agrégat : B remporte quatre cas et obtient une égalité sur le résultat principal ; il ne s’agit pas d’une estimation de population.

Recommandation : rejeter A pour cette publication et n’adopter provisoirement B qu’après révision et tests de régression. Raccourcir les titres de B pour les cas simples sans supprimer les états inconnus. Prochaine expérience : masquer les libellés des versions à deux responsables d’incidents et exécuter trois répétitions sur au moins 20 cas stratifiés couvrant des entrées complètes, manquantes, contradictoires, longues, multilingues et contenant des instructions intégrées. Conserver C1, C2 et C4 comme régressions impératives. Risque résiduel : les notes de préférence reposent sur le jugement d’un seul évaluateur et aucun cas de confidentialité ou d’injection n’a été fourni.

Pourquoi cela fonctionne

  1. 1

    Des cas appariés isolent les effets du prompt des modifications des entrées et des paramètres d’exécution.

  2. 2

    Les conditions impératives empêchent une note moyenne de qualité de masquer des régressions rares mais lourdes de conséquences.

Vérifier le résultat

  • Les deux versions ont-elles été exécutées avec des entrées, paramètres, outils et preuves identiques ?

  • Chaque conclusion peut-elle être reliée aux sorties propres à un cas et à un critère déclaré ?

  • Les régressions critiques, les désaccords entre évaluateurs et les limites de l’échantillon sont-ils visibles ?

Utilisez-la en toute confiance

Questions fréquentes

Des réponses pratiques sur le bon moment pour utiliser cette recette, ce qu’il faut fournir et les cas où une vérification humaine reste nécessaire.

Que dois-je préparer avant d’utiliser « Comparer le comportement réel de deux versions d’un prompt » ?

Pour utiliser « Comparer le comportement réel de deux versions d’un prompt », préparez les versions du prompt et l’intention de la modification, les entrées et sorties de test appariées, ainsi que les critères de réussite et le contexte de publication. Ne remplacez les champs réservés que par des informations vérifiables. Si un élément est inconnu, indiquez-le explicitement au lieu de demander au modèle de le déduire.

Dans quels cas le résultat de « Comparer le comportement réel de deux versions d’un prompt » n’est-il pas prêt à être utilisé ?

Le résultat n’est pas prêt s’il ne produit pas encore, à partir des preuves fournies, le résultat annoncé — une comparaison traçable, avec preuves par cas, régressions, incertitude et recommandation de publication — ou s’il repose sur des hypothèses non résolues, des approbations manquantes ou des éléments inventés. Utilisez les contrôles comme conditions de publication : révisez les données sources ou désignez un responsable autorisé pour l’examen, plutôt que de peaufiner un résultat sans fondement.

Quels outils d’IA disposent de tests consignés pour « Comparer le comportement réel de deux versions d’un prompt » ?

Le registre de tests publié pour « Comparer le comportement réel de deux versions d’un prompt » mentionne ChatGPT au 2026-08-28. Cela confirme l’existence d’essais consignés, mais ne garantit ni la compatibilité ni des résultats identiques dans les versions ultérieures du produit. Avec un autre outil ou une autre version, conservez toutes les contraintes visibles et répétez les contrôles du résultat avant utilisation.

Plus de façons d'explorer

Où se situe cette recette

Prompts texteRetours et relectureConception de promptsPour les rédacteurs

Faites avancer votre travail

AILesson · Cours recommandés

Votre prochaine étape : mettez l’IA à contribution

Passez de la compréhension de l'IA à l'action. Entraînez-vous à formuler des requêtes, à évaluer et à améliorer les résultats grâce à des leçons interactives pour le travail et la vie quotidienne.

Découvrir tous les cours
Image de couverture de L’IA pour débutants

15 leçons interactives

L’IA pour débutants

Lancez une conversation utile avec une IA, améliorez sa réponse, vérifiez l’essentiel et sachez quand c’est à vous d’agir.

Découvrir ce cours
Image de couverture de Les bases de ChatGPT

10 leçons interactives

Les bases de ChatGPT

Découvrez ChatGPT à travers trois flux de travail pratiques : mener une première conversation, travailler à partir d’un fichier, puis utiliser Projects pour réutiliser un plan vérifié dans une nouvelle conversation.

Découvrir ce cours
Image de couverture de Comment fonctionne l’IA générative

7 leçons interactives

Comment fonctionne l’IA générative

Comprenez comment les systèmes courants de chat IA apprennent des structures linguistiques, utilisent les messages actuels, construisent leurs réponses et intègrent des sources et des outils.

Découvrir ce cours