실험 표본 크기 산정과 판정 지표 기준

결론

광고주명의 월 진입 인원 규모에서 필요한 실험 표본과 기간은 해외 툴의 권고치를 그대로 쓰지 않고 자사 전환율·기대 개선폭으로 역산

본문

1. 그 시나리오(또는 페이지)의 현재 전환율과 월 진입 인원 확인

2. 검증하고 싶은 기대 개선폭을 설정(개선폭이 작을수록 필요한 표본·기간은 급격히 늘어남)

3. 두 값으로 필요한 안별 표본 수를 역산(실험 도구의 표본 크기 계산기 활용 가능)

4. 계절·프로모션이 걸치지 않는 연속 기간에 배치, 대형 이벤트가 끼면 제외하거나 재시작

• 필요한 표본 수의 국내 공식 기준은 없음. 해외 실험 도구가 자사 기준으로 공개한 값(유의수준 95% 전후, 최소 운영 기간 등)은 참고치일 뿐 국내 표준이 아님
• 표본이 작으면 검정으로도 차이를 잡아내기 어려움. 인원이 부족하면 여러 회차에 걸쳐 누적하거나 개선폭이 큰 항목부터 테스트
• 판정은 시나리오 전체의 최종 전환으로 하되, 측정 기간(예: 7일 vs 30일)을 실험 전 고정

숫자·기준

• 해외 실험 도구가 공개한 참고 기준: 유의수준 95% 전후에서 기준 전환율과 최소 검출 효과로 표본 수 산출, 일부 도구는 안별 최소 전환 건수·최소 방문자 수·최소 운영 기간 기준을 함께 제시(도구별 상이, 국내 공식 기준 아님)
• 계절·프로모션이 걸친 실험은 양쪽 안 모두 전환율이 올라 차이가 묻히거나, 비수기에는 표본 모이는 속도가 느려짐

시각 계획

입력값(현재 전환율, 기대 개선폭, 월 진입 인원) → 산출값(필요 표본, 예상 기간) 흐름을 계산기 형태 박스로 표현.

쓸 때 주의

• 분기점 설계·단일 변수 원칙 부품과 함께 사용(표본 크기는 '어떻게 나눌지'가 정해진 뒤 계산)
• 광고주 트래픽이 적으면 A/B 대신 개편 전후 같은 요일 비교로 방향만 확인하는 대안도 고려

광고주명

대상 광고주

월 진입 인원

테스트 대상 시나리오의 월 진입 인원 또는 방문자 수

12code library 과목 240 레슨 17, 과목 229 레슨 1(Baymard 벤치마크 인용부). 등급: 강의 기반 정리(해외 실험 도구 공식 문서 인용, 국내 공식 기준 아님)