A/B テスト結果ワークブックを設計する

著者: AILesson9 分でセットアップテスト済み:ChatGPTレビュー日: 2026-08-28

クイック回答

テスト結果を誇張せず、割り付け、曝露、結果、除外、不確実性、意思決定ルールを整理する. 入力するもの: 実験設計, データスキーマと件数, 指標と分析ルール. 期待される結果: 指標定義、数式、バランス確認、意思決定メモを備えた監査可能な実験ワークブック.

コンテキストを追加

テキストはこのブラウザ内に留まります。AILesson Prompts は、そのテキストをモデルやサーバーに送信しません。

実験設計データスキーマと件数指標と分析ルール

あなたのプロンプト

未入力のフィールドはプレースホルダーとして表示されたままなので、プロンプトをコピーして編集できます。

提示された A/B テストについて、設計が裏付ける以上に関連性を強い因果関係として扱わない Excel ワークブックを設計してください。

仮説、バリアント、ランダム化、適格性、日付、停止、除外、責任者：
[design]

フィールド、粒度、ID、割り付け、曝露、結果、タイムスタンプ、欠測、重複、件数、サンプル：
[data]

指標、分母、対象集団、信頼区間の手法、実務上の閾値、セグメント、多重性、レビューの限界：
[analysis]

実験計画と観察結果を分けてください。ランダム化単位ごとに1行とするか、イベントデータから再現可能な方法で集約します。主要な intention-to-treat 解析では、曝露に失敗しても割り付け群を維持し、per-protocol 解析はすべて副次解析と明記してください。分母、割合または連続アウトカム、絶対差と相対差、不確実性、ガードレールについて数式を定めます。標本比率、適格性、重複 ID、アウトカムの欠測、時期、コンタミネーション、実験前のバランスを確認してください。p値だけで勝者を選ぶこと、計画した停止ルールなしに結果を繰り返し確認すること、イベント行からユーザー単位の効果を推測すること、割り付けがランダムでない場合に因果関係を主張することは禁止します。シート構成、データ辞書、指標レジストリ、提示されたセル/テーブルを使う数式、品質確認、結果表、セグメント方針、意思決定テンプレート、限界、小さな既知の例を再計算するテストを返してください。

Playgroundで試す

デフォルトで非公開プロンプトの組み立てはブラウザ内で行われます。組織が許可しない限り、機密情報を AI サービスに入力しないでください。

入力から結果へ

具体例

具体的なコンテキストを加えると、このレシピが実用的な結果になる様子をご覧ください。

実際の入力

実験設計: 適格なニュースレター購読者を対象とする、ランダム化メール件名テスト。対照 A は現在の件名、B は短い件名です。ランダム化単位は subscriber ID。2026年8月3日の送信前に1:1で割り付けます。適格な購読者1人につきメール1通です。主要仮説：B は72時間以内のユニーククリック率を高める。適格者リスト全体に対して1回実施し、早期停止はしません。除外するのは、事前に列挙した内部/テスト ID と、承認済み指標ルールに基づくハードバウンスだけです。意思決定者はマーケティング責任者です。
データスキーマと件数: 生のイベントエクスポートには、購読者1人につき複数行が含まれる場合があります。フィールドは SubscriberID、AssignedVariant、Eligible、Sent、HardBounce、UniqueClick72h、Unsubscribe72h、Revenue72h、AssignmentTime、SendTime。SubscriberID ごとに1行へ集約します。割り付け予定数は A=5,012、B=4,988。ハードバウンスは A=102、B=98。ユニーククリックは A=421、B=455。購読解除は A=23、B=31。売上は分布が偏っており、トラッキング失敗により14行が欠測しています。割り付けデータ内で SubscriberID が重複している場合は無効です。送信した件名が割り付けと異なる場合、曝露のクロスオーバーを検出できます。
指標と分析ルール: 主要指標であるユニーク CTR の分母は、割り付け群ごとの送信数からハードバウンス数を引いた値です。これが純粋な全割り付け ITT と異なることを記録し、全割り付けでの感度分析も示します。主要検定には、比率差の両側95%信頼区間を使用します。実務上の閾値は絶対差 +0.5パーセントポイント。ガードレールである購読解除率の分母は送信数で、非劣性マージンは +0.2パーセントポイントです。売上は副次指標として記述するだけにします。セグメント分析は探索的なものとして n を示し、勝者を主張しません。多重性の調整は計画されていません。

出力例

ワークブック：Plan（仮説、母集団、停止ルール、閾値を固定）、UnitData（SubscriberID ごとに1行）、MetricRegistry、QualityChecks、Results、DecisionLog。UnitData は、二値結果に対する明示的な MAX ルールと、割り付け重複時の停止ルールを使ってイベントから集約します。クリックを独立した行として数えてはいけません。

主要分母は A 5,012−102=4,910、B 4,988−98=4,890。CTR は A 421/4,910=8.574%、B 455/4,890=9.305%。絶対差 B−A=0.731パーセントポイント、相対リフトは約8.53%です。Excel の比率計算式には =SUMIFS(UnitData[UniqueClick72h],UnitData[AssignedVariant],A2)/SUMIFS(UnitData[PrimaryDenominatorFlag],UnitData[AssignedVariant],A2) を使用できます。事前承認済みの2標本比率の信頼区間計算、またはレビュー済みの分析ツールを使用し、結果を見た後で統計手法を即興で変更してはいけません。点推定値は実務上の閾値 +0.5 pp を超えていますが、意思決定には信頼区間とガードレールも必要です。

ガードレール：A の購読解除率は 23/5,012=0.459%、B は 31/4,988=0.622%。差は +0.163 pp で、+0.2 pp の非劣性マージンを下回るものの近接しています。ガードレールを満たしたと判断する前に、その区間を報告してください。QualityChecks：割り付け比率は 50.12%/49.88%。承認済みのサンプル比チェックを使って計画割り付けと比較します。割り付け重複はゼロ、すべての割り付け時刻は送信時刻より前でなければなりません。群別にクロスオーバー、不適格、未送信、トラッキング欠測、除外を列挙します。全割り付けでの感度分析 CTR は 8.400% 対 9.122%。売上は n/欠測数と中央値または分位点を添えて記述するだけとし、因果的な成功の根拠にはしません。意思決定テンプレートでは、主要指標の区間、実務上の閾値、ガードレールの区間、品質上の問題、分母定義の相違を示し、進行、保留、棄却のいずれかを選びます。

これがうまくいく理由

1
ランダム化単位と分母を明示することで、イベント数が独立したサンプルサイズとして扱われるのを防げます。
2
意思決定の閾値とガードレールにより、統計的不確実性を実務上の影響と結び付けておけます。

結果を確認

各解析行がランダム化単位を表し、曝露の有無にかかわらず割り付けが保持されていますか？
主要指標、分母、不確実性の手法、停止ルール、実務上の閾値が、結果を見る前に定義されていますか？
不均衡、欠測、コンタミネーション、多重性、ガードレールが結果と並べて表示されていますか？

安心して使うために

よくある質問

このレシピをいつ使うか、何を用意するか、どの場面で人による確認が依然として重要かについての実践的な回答です。

「A/B テスト結果ワークブックを設計する」を使用する前に、何を準備すればよいですか？

「A/B テスト結果ワークブックを設計する」を使用するには、実験設計、データスキーマと件数、指標と分析ルールを準備してください。プレースホルダーは、確認可能な情報だけで置き換えます。詳細が不明な場合は、モデルに推測させず、不明であることを明示してください。

「A/B テスト結果ワークブックを設計する」の結果は、どのような場合にまだ使用できませんか？

提示された証拠から、記載された成果である「指標定義、数式、バランス確認、意思決定メモを備えた監査可能な実験ワークブック」をまだ作成できていない場合や、未解決の前提、承認の不足、創作した詳細に依存している場合、その結果は使用できません。チェック項目を公開可否の判断基準として使い、裏付けのない出力を磨くのではなく、元の入力を修正するか、権限を持つ担当者を指名してレビューを依頼してください。

「A/B テスト結果ワークブックを設計する」では、どの AI ツールのテスト記録がありますか？

2026-08-28 時点で、「A/B テスト結果ワークブックを設計する」の公開テスト記録には ChatGPT が掲載されています。これは実行記録があることを示すだけで、今後の製品バージョンとの互換性や同一の結果を保証するものではありません。別のツールやバージョンでは、すべての制約を明示したまま、使用前に結果のチェック項目をもう一度確認してください。

さらに探す方法