콘텐츠킷 · 전략재료
실험 분기점 설계와 단일 변수 원칙
P-전략재료-실험-분기점설계와단일변수원칙 · 기준일 2026-10-05
결론
광고주명의 테스트 대상 실험은 분기 지점을 먼저 정하고 변수 하나만 바꾼 뒤 무작위 배정과 홀드아웃으로 검증
본문
| 설계 요소 | 원칙 |
|---|---|
| 분기 지점 | 진입 시점 분기(전체 흐름 비교)와 중간 분기(특정 단계 비교)는 해석이 다름. 목표를 먼저 정함 |
| 변수 | 문구·오퍼 크기·대기 시간·채널·발송 시각 중 하나만 변경. 대기 시간 변경은 발송 시각도 함께 바뀌는 함정 주의 |
| 배정 | 사람이 개입하지 않고 시스템이 무작위로 배정(개입 시 비교 자체가 왜곡) |
| 판정 지표 | 중간 단계 오픈율·클릭률이 아니라 시나리오 전체 최종 전환으로 판정 |
| 비교 대상 | A/B만으로는 '이 시나리오를 아예 안 돌리는 것보다 나은가'에 답하지 못함. 홀드아웃(비발송) 소수 유지 필요 |
- 순서대로 바꿔보고 비교하는 방식은 요일·시즌·경쟁사 프로모션이 섞여 엄밀한 실험이라 부를 수 없음
- 메타·구글은 자체 실험(분할 테스트) 기능을 공식 제공해 타겟 모수를 정확한 비율로 나눠 설계 실수를 줄임
- 홀드아웃 인원에게도 정보성 메시지는 정상 발송하고, 혜택성 메시지만 제외하는 방식으로 설계
숫자·기준
- 메타·구글의 자체 실험 기능은 지정 비율(예: 50:50)로 트래픽을 나눠 동일 조건 비교 지원
- 관측 기간(7일 전환 vs 30일 전환 등)은 실험 시작 전에 고정. 결과가 마음에 들지 않는다고 기간을 바꾸지 않음
시각 계획
분기 지점을 트리 형태로 그려 진입 시점 분기와 중간 분기를 좌우로 비교, 홀드아웃 그룹을 점선 박스로 별도 표시.
쓸 때 주의
- 표본 크기·판정 통계 기준은 별도 부품(실험 표본 크기 산정) 참조
- CRM 시나리오, 광고 소재, 랜딩페이지 등 실험 대상이 달라도 이 설계 원칙은 공통
광고주마다 바뀌는 값
- 광고주명
- 대상 광고주
- 테스트 대상
- 테스트하려는 요소(문구, 오퍼, 대기 시간 등)
함께 쓰는 디자인
출처
12code library 과목 240 레슨 17 「CRM 자동화 시나리오의 A/B 테스트를 설계하는 방법」, 과목 209 레슨 1. 등급: 강의 기반 정리