A/B 테스트 2차년도 · 정의만 2차년도 상세
이 컷은 정의다. 문구·채널·타이밍 변형을 비교한다. 표본 수와 유의성 판정 기준이 정해져야 규칙을 적을 수 있다.
변형 설계 E-12
2안의 문구·채널·발송 시각 차이
대상 분배 E-12 · E-02
무작위 분배 — 세그먼트가 섞이면 결과가 오염된다
결과 비교 E-08
반응률·전환·매출 기여
판정 미정
최소 표본 수와 유의성 기준이 없다
2차년도 착수 전에 정해야 하는 것
최소 표본 수와 유의성 판정 기준이 정해져야 한다 (16-E ▷) 매장 하나의 발송량으로 통계적 유의성이 나오는지 자체가 의문이다 — 본사 통합 집계가 필요할 수 있다 피로도 관리(E-16)와 충돌한다 — 변형 발송이 발송 상한을 두 번 쓴다