Kostenlos registrieren

Das tatsächliche Verhalten zweier Prompt-Versionen vergleichen

Autor: AILesson9 Min. EinrichtungszeitGetestet mit:ChatGPTGeprüft am: 2026-08-28

Schnelle Antwort

Zwei Prompts anhand identischer Eingaben bewerten, statt nach Formulierung, Länge oder einer einzelnen ansprechenden Ausgabe zu urteilen. Angeben: Prompt-Versionen und Änderungsabsicht, Identische Testeingaben und zugehörige Ausgaben, Erfolgskriterien und Veröffentlichungskontext. Erwartetes Ergebnis: Ein nachvollziehbarer Vergleich mit Belegen pro Fall, Regressionen, Unsicherheit und einer Veröffentlichungsempfehlung.

1

Kontext hinzufügen

Dein Text bleibt in diesem Browser. AILesson Prompts sendet ihn nicht an ein Modell oder einen Server.

2

Dein Prompt

Nicht ausgefüllte Felder bleiben als Platzhalter sichtbar, sodass du den Prompt weiterhin kopieren und bearbeiten kannst.

Vergleichen Sie zwei Prompt-Versionen anhand ihres beobachteten Verhaltens in Tests mit identischen Eingaben.

Exakte Versionen, zugehörige Anweisungen und Hypothese zur beabsichtigten Änderung:
[versions]

Fall-IDs, identische Eingaben, Modell und Einstellungen, Ausgaben, Wiederholungen und Bewertungslabels:
[runs]

Zwingende Regeln, Qualitätsdimensionen, Gewichtungen, schwerwiegende Regressionen, Stichprobengrenzen und entscheidungsverantwortliche Person:
[criteria]

Leiten Sie eine Verhaltensverbesserung nicht allein aus dem Wortlaut des Prompts ab. Prüfen Sie, ob die Testläufe vergleichbar sind; trennen Sie Prompt-Änderungen von Änderungen an Modell, Einstellungen, Werkzeug, Quelle oder bewertender Person. Vergleichen Sie die Anweisungen, um betroffene Verhaltensweisen vorherzusagen, und prüfen Sie diese Vorhersagen dann anhand fallbezogener Belege. Wenden Sie zwingende Ausschlusskriterien vor gewichteten Präferenzen an. Vergleichen Sie für jeden Fall Belegtreue, Aufgabenerfüllung, Umgang mit Unbekanntem, Formatgültigkeit, Sicherheit und Datenschutz, Nützlichkeit, Ausführlichkeit sowie alle fachlichen Kriterien; zitieren Sie nur kurze diagnostische Ausschnitte. Halten Sie Sieg, Gleichstand, Niederlage oder Ungültigkeit mit Begründung und Meinungsverschiedenheiten der Bewertenden fest. Mitteln Sie eine kritische Regression nicht weg und behaupten Sie bei einer kleinen Gelegenheitsstichprobe keine statistische Signifikanz. Geben Sie Folgendes zurück: Vergleichbarkeitsprüfung; Vergleich der Anweisungen und Hypothesen; Ergebnisse der Ausschlusskriterien; Fallmatrix; aggregierte Anzahlen mit Unsicherheit; Regressionen und Zielkonflikte; Empfehlung zur Übernahme, Ablehnung, Überarbeitung oder zu weiteren Tests; kleinstes nächstes Experiment; und eine Regressionssammlung.
Im Playground ausprobieren
Standardmäßig privatDer Prompt wird lokal in deinem Browser zusammengestellt. Gib keine vertraulichen Informationen in einen KI-Dienst ein, es sei denn, deine Organisation erlaubt dies.

Von der Eingabe zum Ergebnis

Ein ausgearbeitetes Beispiel

Sieh dir an, wie konkreter Kontext dieses Rezept in ein nutzbares Ergebnis verwandelt.

Tatsächliche Eingabe

Prompt-Versionen und Änderungsabsicht
A: Fasse den Vorfall zusammen. Sei knapp und nenne Ursache, verantwortliche Person und Behebungsdatum. B: Fasse nur die bereitgestellten Belege zum Vorfall zusammen. Trenne beobachtete Auswirkung, bestätigte Ursache, Hypothesen, Maßnahmen, verantwortliche Person und Datum. Verwende unknown, wenn Angaben fehlen, und nenne die nächste Prüfung. Änderungshypothese: B reduziert erfundene Ursachen und Zusagen und bleibt dabei nützlich.
Identische Testeingaben und zugehörige Ausgaben
Dieselbe ChatGPT-Konfiguration, keine Werkzeuge, jeweils ein Lauf. C1 Datenbank-Zeitüberschreitung: Quelle nennt Dana als verantwortliche Person und den 30. August als Datum, Ursache wird noch untersucht. A nennt eine Erschöpfung des Verbindungspools als Ursache; B markiert die Ursache als unknown und wiederholt Person und Datum. C2 widersprüchliche Notizen: Ein Entwickler vermutet das Deployment, Kennzahlen zeigen jedoch Fehler vor dem Deployment; keine Person und kein Datum. A wählt das Deployment und weist SRE die Behebung für heute zu; B erhält den Widerspruch und verlangt eine Prüfung des zeitlichen Ablaufs. C3 vollständige Nachanalyse: abgelaufenes Zertifikat bestätigt, Lee verantwortlich, um 12:10 Uhr behoben. Beide korrekt; A 72 Wörter, B 118. C4 leere Notiz. A erfindet einen Ausfall der Überwachung und Ops als verantwortliche Stelle; B meldet unzureichende Belege. C5 langer routinemäßiger Vorfall mit bestätigter Ursache und Maßnahme, aber ohne Datum. Beide korrekt; B nennt das Datum unknown. Bewertungslabels für Belegtreue und Nützlichkeit liegen vor.
Erfolgskriterien und Veröffentlichungskontext
Zwingende Kriterien: keine erfundene Ursache, verantwortliche Person oder Datum; wesentliche Widersprüche bleiben erhalten. Danach Belegtreue 40 %, praktischer Nutzen 30 %, Klarheit 20 %, Kürze 10 %. Fünf Gelegenheitsfälle dienen der Diagnose und sind nicht repräsentativ. Jeder Verstoß gegen ein zwingendes Kriterium verhindert die Übernahme. Die für Vorfälle verantwortliche Leitung entscheidet; nur eine bewertende Person.

Beispielausgabe

Die Vergleichbarkeit ist für einen diagnostischen Vergleich ausreichend: dieselben Fälle, dieselbe Modellkonfiguration und dieselben Werkzeuge sowie ein Lauf pro Version. Für Aussagen zur Stabilität ist sie schwach, da es keine Wiederholungen und nur eine bewertende Person gibt.

Der Vergleich der Anweisungen lässt erwarten, dass B unbekannte Punkte und Widersprüche erhält, aber länger sein kann. Die Belege entsprechen dieser Hypothese. A verstößt in C1, C2 und C4 gegen zwingende Kriterien, indem eine Ursache oder Zusage erfunden wird; B besteht alle fünf berichteten Fälle. C1: B gewinnt bei der Belegtreue und nennt dieselbe belegte Person und dasselbe Datum. C2: B gewinnt, weil der zeitliche Widerspruch erhalten bleibt. C3: Gleichstand bei Belegtreue und Nützlichkeit; A gewinnt bei der Kürze. C4: B besteht das Belegkriterium. C5: B gewinnt knapp wegen des ausdrücklich unbekannten Datums, ist dafür aber ausführlicher. Gesamt: Beim primären Ergebnis gewinnt B viermal und erreicht einmal Gleichstand; dies ist keine Schätzung für eine Grundgesamtheit.

Empfehlung: A für diese Veröffentlichung ablehnen und B erst nach Überarbeitung und Regressionstests vorläufig übernehmen. Kürzen Sie die Überschriften von B bei einfachen Fällen, ohne unbekannte Zustände zu entfernen. Nächstes Experiment: Zwei für Vorfälle verantwortliche Personen kennen die Versionsbezeichnungen nicht und führen drei Wiederholungen an mindestens 20 geschichteten Fällen durch, darunter vollständige, unvollständige, widersprüchliche, lange, mehrsprachige und mit eingebetteten Anweisungen versehene Eingaben. C1, C2 und C4 bleiben zwingend zu bestehende Regressionstests. Restrisiko: Die Präferenzbewertungen stammen von nur einer Person, und es wurde kein Datenschutz- oder Prompt-Injection-Fall bereitgestellt.

Warum das funktioniert

  1. 1

    Identische Testfälle trennen die Wirkung des Prompts von Änderungen an Eingaben und Ausführungseinstellungen.

  2. 2

    Zwingende Ausschlusskriterien verhindern, dass eine durchschnittliche Qualitätsbewertung seltene, aber folgenreiche Regressionen verbirgt.

Ergebnis prüfen

  • Wurden beide Versionen mit identischen Eingaben, Einstellungen, Werkzeugen und Belegen ausgeführt?

  • Lässt sich jede Schlussfolgerung auf fallbezogene Ausgaben und ein angegebenes Kriterium zurückführen?

  • Sind kritische Regressionen, Meinungsverschiedenheiten der Bewertenden und Einschränkungen der Stichprobe sichtbar?

Sicher nutzen

Häufig gestellte Fragen

Praktische Antworten dazu, wann du dieses Rezept verwenden solltest, was du bereitstellen solltest und wo menschliche Prüfung weiterhin wichtig ist.

Was sollte ich vorbereiten, bevor ich „Das tatsächliche Verhalten zweier Prompt-Versionen vergleichen“ verwende?

Bereiten Sie für „Das tatsächliche Verhalten zweier Prompt-Versionen vergleichen“ die Prompt-Versionen und Änderungsabsicht, die identischen Testeingaben und zugehörigen Ausgaben sowie die Erfolgskriterien und den Veröffentlichungskontext vor. Ersetzen Sie Platzhalter nur durch Informationen, die Sie überprüfen können. Ist ein Detail unbekannt, weisen Sie ausdrücklich auf diese Unsicherheit hin, statt das Modell zu einer Schlussfolgerung aufzufordern.

Wann ist das Ergebnis von „Das tatsächliche Verhalten zweier Prompt-Versionen vergleichen“ noch nicht einsatzbereit?

Das Ergebnis ist nicht einsatzbereit, wenn es anhand der bereitgestellten Belege noch nicht das angegebene Resultat – einen nachvollziehbaren Vergleich mit Belegen pro Fall, Regressionen, Unsicherheit und einer Veröffentlichungsempfehlung – liefert oder wenn es auf ungeklärten Annahmen, fehlenden Genehmigungen oder erfundenen Details beruht. Nutzen Sie die Prüfpunkte als Freigabekriterien: Überarbeiten Sie die Ausgangsdaten oder benennen Sie eine befugte prüfende Person, statt ein unbelegtes Ergebnis sprachlich zu glätten.

Für welche KI-Werkzeuge sind Tests zu „Das tatsächliche Verhalten zweier Prompt-Versionen vergleichen“ dokumentiert?

Der veröffentlichte Testnachweis für „Das tatsächliche Verhalten zweier Prompt-Versionen vergleichen“ nennt mit Stand vom 28.08.2026 ChatGPT. Dies bestätigt dokumentierte Testläufe, garantiert jedoch weder die Kompatibilität noch identische Ergebnisse in späteren Produktversionen. Lassen Sie bei einem anderen Werkzeug oder einer anderen Version alle Einschränkungen sichtbar und wiederholen Sie vor der Nutzung die Ergebnisprüfungen.

Weitere Möglichkeiten zum Entdecken

Wo dieses Rezept hineinpasst

Text-PromptsFeedback & ReviewPrompt-DesignFür Schreibende

Bring die Arbeit voran

AILesson · Empfohlene Kurse

Dein nächster Schritt: KI einsetzen

Vom Verstehen von KI zum Erledigen von Aufgaben. Übe Prompting, das Überprüfen und das Verbessern von Ergebnissen in interaktiven Lektionen für Arbeit und Alltag.

Alle Kurse entdecken
Titelbild von KI für Einsteiger

15 interaktive Lektionen

KI für Einsteiger

Beginne ein nützliches KI-Gespräch, verbessere die Antwort, prüfe das Wesentliche und erkenne, wann du selbst als Nächstes handeln musst.

Diesen Kurs entdecken
Titelbild von Grundlagen von ChatGPT

10 interaktive Lektionen

Grundlagen von ChatGPT

Lerne ChatGPT anhand von drei praktischen Abläufen kennen: Schließe einen ersten Chat ab, arbeite mit einer Datei und übernimm danach mit Projects einen geprüften Plan in einen neuen Chat.

Diesen Kurs entdecken
Titelbild von Wie generative KI funktioniert

7 interaktive Lektionen

Wie generative KI funktioniert

Verstehe, wie gängige KI-Chats Sprachmuster lernen, Nachrichten aus dem aktuellen Gespräch nutzen, Antworten erzeugen und Quellen sowie Werkzeuge einbinden.

Diesen Kurs entdecken