학습자 사례—“Cedar 서비스 알림 의사결정”(Cedar는 허구의 이름이며, 집계된 증거는 익명화된 실제 시범 운영에서 가져옴). 한 공공서비스 기관이 한정된 설계 역량을 더 엄밀한 알림 테스트에 투입할지 결정하려 합니다. 증거 자료: 직전 6주 107/198=54%, 시범 운영 6주 131/214=61%, 기간은 무작위로 배정되지 않았고 계절별 자료 구성도 달랐음, 참여 철회 11건, 지연 신고 3건, 직원 업무 하루 약 25분. 텍스트 대체 자료에는 모든 값과 분모를 적습니다. 실제로 확인되지 않아 의도적으로 비워 둔 항목: 표본 근거, 담당자, 예산, 개인정보 보호 및 접근성 검토, 중단 기준.
결정: ‘설계’, ‘설계 전 보완’, ‘거부’ 중 하나를 권고하되 전면 도입을 승인하지 마세요. 주장 범위, 대안 두 가지, 영향을 받는 집단, 조건 또는 안전장치 세 가지, 권고를 바꿀 증거를 300단어로 작성하세요. 1단계에서는 결과 데이터를 제공하고 12분 후 2단계에서 운영 신호를 공개해 학생들이 결정을 수정할 수 있게 합니다. 기준: 분모와 비무작위 배정의 한계를 올바르게 사용함, 서비스와 접근성·개인정보 보호 및 직원에 미치는 영향을 비교함, 대안을 비교함, 조건부이며 비례적인 결정을 내림.
진행자: 05분 개인 주장, 515분 팀별 1단계 검토, 15분에 2단계 공개, 1530분 선택지 분석, 3040분 이용자·직원·거버넌스 관점에서 그들의 견해를 지어내지 않고 반론 검토, 4047분 결정, 4750분 마무리 토론. 탐구 질문: “61 대 54로 무엇을 입증할 수 있나요?” “설계 전에 필요한 미해결 관문과 도입 전에 필요한 관문은 각각 무엇인가요?” 방어 가능한 결론에는 관문을 둔 제한적 설계, 접근 가능한 채널과 담당 체계를 추가하기 위한 보완, 명확한 역량 기준에 따른 거부가 포함됩니다. “시범 운영이 효과가 있었다”는 오해입니다.
루브릭은 항목별 0~2점: 증거 충실도, 대안, 안전장치와 형평성, 결정의 비례성, 정보 공개 후 수정. 대장: 모든 수치와 제한 사항을 유지하고 익명화함, Cedar는 허구로 표시함, 날짜와 시스템은 생략함, 인용문이나 결과는 지어내지 않음. 분야 전문가 검증 사항: 제외 사항을 반영한 보고서와 107/198 및 131/214가 일치하는지, 집계 자료의 수업 이용 허가가 계산된 백분율까지 포함하는지, 운영 세부 정보로 신원을 알아볼 수 없는지.