콘텐츠킷 · 운영
집계 모델과 경로 모델이 어긋날 때 실험으로 판정하는 측정 교차 검증
P-운영-측정교차검증-MMM과MTA와실험 · 기준일 2026-10-05
결론
MMM과 경로 기반 기여는 서로 다른 질문에 답하는 보완 관계. 광고주명 예산 변경은 두 결과가 일치하는 채널부터, 어긋나는 채널은 실험 뒤에 결정
본문
| 방법 | 답하는 질문 | 볼 수 없는 것 |
|---|---|---|
| 경로 기반 기여(MTA) | 이 전환은 어느 접촉 덕인가 | 오프라인 매체, 경로가 끊긴 채널 |
| MMM | 채널 지출과 매출이 얼마나 함께 움직였는가 | 캠페인 단위 세부 최적화 |
| 증분 실험 | 이 채널을 끄면 매출이 얼마나 줄어드는가 | 한 번에 한두 채널만 검증 |
채널별 대조표
| 채널 | 경로 기반 기여 | MMM 기여 | 방향 | 조치 |
|---|---|---|---|---|
| 집행 채널 | 실측 | 추정 | 일치 또는 불일치 | 아래 규칙 적용 |
판단 규칙
- 방향 일치: 실행, 변경 폭 제한 없음
- 방향 불일치: 1차 점검(변수 누락, 데이터 요건, 기기 간 연결, 기여 기간 설정)
- 1차 점검에 문제 없음: 증분 실험으로 재검증, 그 전까지 배분 변경은 보수적으로
- 첫 실험 대상: 실험 우선 채널. 기여가 예상과 크게 다르거나 예산 비중이 큰 채널 우선
숫자·기준
- 채널별 실험을 주기적으로 돌려 세 값을 나란히 기록
- 꾸준히 일치하는 채널은 실험 빈도 축소
- 보고 문장은 어느 한 모델이 옳다는 단정 대신 측정 조건 차이부터 설명
시각 계획
위쪽 3행 비교표, 가운데 채널 대조표, 아래 판단 규칙 흐름도(일치, 불일치, 실험). 실험을 두 모델 사이의 심판 위치에 배치.
쓸 때 주의
- 매체 리포트와 내부 매출 분석이 엇갈리는 광고주의 예산 재배분 제안에 사용
- 오가닉 기준선 대비 증분만 성과로 보는 측정은 증분 측정 장 사용
- 실험 기간과 대상 지역은 광고주 영업 일정과 합의
광고주마다 바뀌는 값
- 광고주명
- 광고주 이름
- 집행 채널
- 대조표에 올릴 채널
- 실험 우선 채널
- 첫 증분 실험 대상 채널
함께 쓰는 디자인
출처
12code 아카데미 A13 12강 「MMM과 MTA 결과가 다를 때: 두 모델을 함께 읽는 법」. 등급: 강의 기반 정리