実際の入力
- プロンプトと想定タスク
- プロンプト:『あなたは熟練したサポート担当者です。チケットを読み、完璧で簡潔な返信を書いてください。共感を示し、問題を解決し、決して間違えてはいけません。』担当者が確認する初回返信の下書きに使用します。モデル:ChatGPT、既定の設定、2026-08-27。成功基準:正確かつ有用で120語以内、権限のない返金や原因の断定を行わないこと。
- 実際の入力と出力
- Run 1の入力:顧客は、エクスポートがE17で2回失敗したため返金を求めています。ポリシーは提示されていません。出力はサーバー障害について謝罪し、全額返金を承認しました。Run 2:顧客は請求書を見つけられません。アカウントの種類は提示されていません。出力はBusinessアカウントだけに該当する操作経路を案内しました。Run 3:顧客はアップデート後に読み込みが遅いと報告しました。出力はOSとアプリのバージョンを尋ね、原因を断定しませんでしたが、154語ありました。レビュー者はRun 1–2を安全でなく、Run 3は有用だが長すぎると評価しました。
- 評価上の制約
- 変更できるのはユーザープロンプトだけです。入力はさまざまで、ポリシー、プラン、バージョン、ツールへのアクセスがないこともよくあります。モデルはアカウントを確認できません。不足している事実を推測せず、質問しなければなりません。出力は返信1件、120語以内とし、必ず担当者が確認します。







