Присоединиться бесплатно

Сравните фактическое поведение двух версий промпта

Автор: AILesson9 мин на настройкуПроверено на:ChatGPTПроверено: 2026-08-28

Быстрый ответ

Оцените два промпта на одинаковых входных данных, а не по формулировке, длине или одному привлекательному результату. Укажите: Версии промпта и замысел изменения, Сопоставленные тестовые входы и результаты, Критерии успеха и контекст выпуска. Ожидаемый результат: Прослеживаемое сравнение с доказательствами по каждому случаю, регрессиями, неопределённостью и рекомендацией по выпуску.

1

Добавьте контекст

ваш текст остаётся в этом браузере. AILesson Prompts не отправляет его ни в модель, ни на сервер.

2

Ваш промпт

Незаполненные поля остаются видимыми как заполнители, поэтому вы всё равно можете скопировать и отредактировать промпт

Сравните две версии промпта по наблюдаемому поведению в сопоставленных тестах.

Точные версии, окружающие инструкции и предполагаемая гипотеза изменения:
[versions]

Идентификаторы случаев, одинаковые входы, модель и настройки, результаты, повторы и метки оценщиков:
[runs]

Обязательные правила, измерения качества, веса, дорогостоящие регрессии, ограничения выборки и владелец решения:
[criteria]

Не делайте вывода об улучшении поведения только по формулировке промпта. Проверьте сопоставимость запусков; отделите изменения промпта от изменений модели, настроек, инструментов, источников или оценщиков. Сравните инструкции, чтобы предсказать затронутое поведение, затем проверьте прогнозы по доказательствам каждого случая. Применяйте жёсткие условия до взвешенных предпочтений. Для каждого случая сравните верность доказательствам, выполнение задачи, обработку неизвестного, корректность формата, безопасность и конфиденциальность, полезность, многословность и любые отраслевые критерии; цитируйте лишь короткие диагностические фрагменты. Запишите победу, ничью, поражение или недействительный случай с обоснованием и разногласиями оценщиков. Не скрывайте критическую регрессию усреднением и не заявляйте статистическую значимость по малой удобной выборке. Верните: аудит сопоставимости; различия инструкций и гипотезы; результаты жёстких условий; матрицу случаев; совокупные числа с неопределённостью; регрессии и компромиссы; рекомендацию принять, отклонить, доработать или провести дополнительные тесты; минимальный следующий эксперимент; и набор регрессионных тестов.
Попробовать в Playground
Конфиденциально по умолчаниюПромпт собирается локально в вашем браузере. Не вводите конфиденциальную информацию в сервисы ИИ, если ваша организация этого не разрешает.

От исходных данных к результату

Разобранный пример

Посмотрите, как конкретный контекст превращает этот рецепт в полезный результат

Реальный ввод

Версии промпта и замысел изменения
A: Подведите итог инцидента. Будьте кратки и укажите корневую причину, ответственного и дату устранения. B: Подведите итог только по предоставленным доказательствам инцидента. Разделите наблюдаемое воздействие, подтверждённую причину, гипотезы, действия, ответственного и дату. При отсутствии данных используйте unknown и перечислите следующую проверку. Гипотеза изменения: B сокращает вымышленные причины и обязательства, оставаясь полезным.
Сопоставленные тестовые входы и результаты
Одинаковая конфигурация ChatGPT, без инструментов, по одному запуску каждой версии. C1 — тайм-аут базы данных: источник называет ответственной Дану и дату 30 августа, но причина выясняется. A сообщает корневую причину — исчерпание пула соединений; B отмечает причину как unknown и повторяет ответственного и дату. C2 — противоречивые заметки: инженер подозревает развёртывание, но метрики показывают начало ошибок до него; ответственного и даты нет. A выбирает развёртывание и назначает SRE на сегодня; B сохраняет противоречие и просит проверить хронологию. C3 — полный разбор: подтверждён просроченный сертификат, ответственный Ли, исправлено в 12:10. Обе версии точны; A — 72 слова, B — 118. C4 — пустая заметка. A выдумывает сбой мониторинга и ответственного Ops; B сообщает о недостаточности доказательств. C5 — длинный обычный инцидент с подтверждёнными причиной и действием, но без даты. Обе версии точны; B говорит, что дата unknown. Предоставлены метки рецензента по верности и полезности.
Критерии успеха и контекст выпуска
Жёсткие условия: не выдумывать причину, ответственного или дату; сохранять существенные противоречия. Затем верность — 40%, практическая полезность — 30%, ясность — 20%, краткость — 10%. Пять удобных случаев диагностические, а не репрезентативные. Любое нарушение жёсткого условия блокирует принятие. Решение принимает менеджер инцидентов; оценщик только один.

Пример вывода

Сопоставимость приемлема для диагностического сравнения: одинаковые случаи, конфигурация модели, инструменты и один запуск каждой версии. Для оценки стабильности доказательства слабы, поскольку повторов нет и оценщик только один.

Различия предсказывают, что B будет сохранять неизвестные данные и противоречия, но может оказаться длиннее. Доказательства соответствуют гипотезе. A нарушает жёсткие условия в C1, C2 и C4, выдумывая причину или обязательство; B проходит все пять описанных случаев. C1: B выигрывает по верности, сохраняя столь же подтверждённых ответственного и дату. C2: B выигрывает, удерживая противоречие во времени. C3: ничья по верности и полезности; A выигрывает по краткости. C4: B выигрывает по условию доказательности. C5: B немного выигрывает благодаря явному указанию неизвестной даты, ценой многословности. Итого: B выигрывает четыре случая и сводит один к ничьей по основному результату; это не оценка генеральной совокупности.

Рекомендация: отклонить A для этого выпуска и предварительно принять B только после доработки и регрессионного тестирования. Сократить заголовки B в простых случаях, не удаляя неизвестные состояния. Следующий эксперимент: скрыть метки версий от двух менеджеров инцидентов и выполнить по три повтора как минимум на 20 стратифицированных случаях, включая полные, неполные, противоречивые, длинные, многоязычные входы и входы со встроенными инструкциями. Сохранить C1, C2 и C4 как обязательные регрессионные тесты. Остаточный риск: оценки предпочтительных качеств принадлежат одному оценщику, а случаи конфиденциальности и инъекций не предоставлены.

Почему это работает

  1. 1

    Сопоставленные случаи отделяют влияние промпта от изменений входных данных и настроек выполнения.

  2. 2

    Жёсткие условия не позволяют средней оценке качества скрыть редкие, но существенные регрессии.

Проверьте результат

  • Запускались ли обе версии с одинаковыми входами, настройками, инструментами и доказательствами?

  • Можно ли проследить каждый вывод до результата отдельного случая и заявленного критерия?

  • Видны ли критические регрессии, разногласия оценщиков и ограничения выборки?

Используйте уверенно

Часто задаваемые вопросы

Практические ответы о том, когда использовать этот рецепт, что нужно предоставить и где по-прежнему важна проверка человеком

Что подготовить перед использованием «Сравните фактическое поведение двух версий промпта»?

Для «Сравните фактическое поведение двух версий промпта» подготовьте версии промпта и замысел изменения, сопоставленные тестовые входы и результаты, а также критерии успеха и контекст выпуска. Заменяйте заполнители только проверяемой информацией. Если какая-либо деталь неизвестна, явно сохраните эту неопределённость и не просите модель делать выводы самостоятельно.

Когда результат «Сравните фактическое поведение двух версий промпта» ещё не готов к использованию?

Результат не готов, если на основе предоставленных данных он ещё не даёт заявленный итог — прослеживаемое сравнение с доказательствами по каждому случаю, регрессиями, неопределённостью и рекомендацией по выпуску — либо опирается на неразрешённые предположения, отсутствующие согласования или вымышленные подробности. Используйте контрольные вопросы как критерии допуска: исправьте исходные данные или назначьте конкретного уполномоченного рецензента вместо того, чтобы шлифовать неподтверждённый результат.

Для каких инструментов ИИ зафиксированы тесты «Сравните фактическое поведение двух версий промпта»?

В опубликованном журнале тестирования «Сравните фактическое поведение двух версий промпта» по состоянию на 2026-08-28 указан ChatGPT. Это подтверждает только зафиксированные запуски, но не гарантирует совместимость или одинаковые результаты в последующих версиях продукта. При использовании другого инструмента или версии оставьте все ограничения явными и перед применением повторите проверку результата.

Другие способы изучения

Где этот рецепт применим

Текстовые промтыОбратная связь и рецензированиеПроектирование промтовДля писателей

Продолжайте работу

Текстовый промпт

Лучшие промпты

Проектирование промтов 9 мин на настройку

Превратите успешный диалог в многократно используемый шаблон промпта

Выделите условия задачи, переменные, правила принятия решений и проверки, которые действительно привели к полезному результату

Открыть рецепт
Текстовый промпт

Лучшие промпты

Проектирование промтов 8 мин на настройку

Разработать тесты обычных, отсутствующих и противоречивых входных данных для промпта

Преобразуйте контракт промпта в воспроизводимые сценарии с ожидаемым поведением, правилами доказательств и критериями прохождения

Открыть рецепт

AILesson · Рекомендуемые курсы

ваш следующий шаг: примените ИИ на практике

Перейдите от понимания ИИ к выполнению задач. Практикуйтесь в составлении запросов, проверке и улучшении результатов с помощью интерактивных уроков для работы и повседневной жизни.

Просмотреть все курсы
Обложка курса «ИИ для начинающих»

15 интерактивных уроков

ИИ для начинающих

Начните полезную беседу с ИИ, улучшите ответ, проверьте важное и поймите, когда следующий шаг нужно сделать вам.

Просмотреть этот курс
Обложка курса «Основы ChatGPT»

10 интерактивных уроков

Основы ChatGPT

Освойте ChatGPT на трёх практических рабочих процессах: проведите первую беседу, поработайте с файлом, а затем перенесите проверенный план в новую беседу с помощью проектов.

Просмотреть этот курс
Обложка курса «Как работает генеративный ИИ»

7 интерактивных уроков

Как работает генеративный ИИ

Разберитесь, как распространённые ИИ-чаты изучают закономерности языка, используют текущие сообщения, формируют ответы и подключают источники и инструменты.

Просмотреть этот курс