원자적 명제: P1 외부 근거는 운영상 중요할 수 있는 효과를 시사함. P2 현지 파일럿은 운영상 실행 가능성을 보여 줌. P3 이러한 사실은 범위가 제한된 설계 작업을 정당화함. P4 이러한 사실은 출시나 효과 약속을 정당화하지 않음.
가장 우선순위가 높은 이의 — 형평성/대상 모집단(범위 수정, 근거 있음): C는 모바일이 없는 이용자를 제외하고 A는 참여에 동의한 사람만 포함합니다. 문자만 사용하는 테스트는 모바일 접근이 가능한 선택된 모집단에서 P1에 답하면서 다른 사람의 접근을 악화시키거나 무시할 수 있습니다. 형평성이 출시를 거부할 수 있으므로 심각도가 높습니다. 이는 설계 작업 자체를 무효화하지 않지만 테스트 시작 전에 채널 및 접근성 선택지와 적격 모집단에 한정된 주장을 정의해야 합니다. 접근성 감사와 공동 설계로 해결하고 P4가 아니라 테스트 설계와 범위를 바꾸세요.
임계값 이의(근거 있음): C의 구간 1~9는 중요성 임계값 3포인트를 가로지릅니다. ‘중요할 가능성이 있음’은 정확하지만 ‘중요할 가능성이 높음’은 뒷받침되지 않습니다. 프로토콜과 정정을 확인하고 타당한 현지 표본 크기를 계산하세요. 구현 이의(혼합 근거): 수신 거부 11명, 지연 메시지, 직원 업무 시간은 실제 가드레일을 보여 주지만 소규모 비무작위 파일럿 하나로 지속 가능한 실행 가능성을 입증할 수는 없습니다. 테스트 담당자, 수용력, 개인정보 보호 검토, 임계값, 예산이 누락됐습니다. P2는 ‘초기 실행 가능성 근거’라고 써야 하며 ‘실행 가능성을 보여 줌’이라고 해서는 안 됩니다.
대안 경로 이의(타당하지만 근거 누락): 이메일 개선이 더 낮은 비용으로 일부 결과를 달성할 수 있지만 비교 근거는 제공되지 않았습니다. 이는 이메일이 더 낫다는 주장이 아니라 설계 선택지가 되어야 합니다. 선택 및 전이 이의는 무작위 C가 일부 처리하지만 현지 전이와 참여도가 높은 사용자 선택 편향은 남아 있습니다. P4는 견고하며 가장 강한 과잉 해석 이의를 이미 처리합니다.
수정된 결론: 무작위로 배정하고 접근 가능한 알림 방식과 신뢰할 수 있는 대안을 비교하는 범위 제한 설계 작업을 승인하세요. 시작에는 표본 근거, 접근성 및 개인정보 보호 검토, 담당자 및 수용력, 예산, 중단 임계값이 여전히 필요합니다. 신뢰도는 효과가 아니라 설계에 관해 중간으로 유지됩니다. 레드팀 검사: C의 상태 확인, 모바일 및 채널 접근성 감사, 두 대안의 비용 산정, 현장 직원 및 개인정보 보호 담당자와 가드레일 검증, 임계값과 분석 사전 등록. 포괄성: C 효과/전이, A 실행 가능성/가드레일, E 채널 선호. 이름이 명시된 모든 집단에는 견해를 꾸며내지 않는 검증 경로가 있습니다.