AB테스트를 하지 않을 때 발생할 수 있는 실수

회사에서 실험의 중요성이 대두되고 있다.

여기서 실험은 A/B 테스트를 말한다. 이러한 실험이 중요시 되는 것은 바로 글로벌 기업이 되었기 때문이다. 글로벌 기업이 되면 각 지역별로 비슷한 서비스 하는 회사간 교류의 기회가 늘어난다. 그리고 서로간의 인사이트 또는 실적을 공유하게 된다.

이런 공유가 잘되려면 증거가 탄탄하고, 누가 봐도 신뢰할 수 있어야 한다. 이 관점에서 A/B테스트는 가장 좋은 방법이기는 하다. A/B 테스트는 Randomized Controlled Trial(RCT)의 또다른 이름이다. RCT는 가설에 기반해서 개입하려는 부분을 제외하고는 다른 부분을 모두 Random으로 운용한다. 이를 통해 개입한 부분이 원인으로써 결과에 어떤 영향을 미치는지 설명하는 기법이다.

즉 Randomization(임의 배분)이 굉장히 중요한 기법이다. 실무진과 대화를 하다보면 임의배분을 부담스러워 하는 경우가 종종 있다. 임의배분으로 인한 전체 실험 대상의 통제력을 잃는 것을 부담스러워하는 경우들이 있다. 물론 한번 경험하고 나면 이런 우려는 많이 사라지곤 한다.

그래서 종종 A/B 테스트를 꼭 해야 하는지 질문 주시는 분들이 있다. 이런 분들에게는 Selection Bias와 Confounder Variable을 언급드리곤 한다. 이 둘다 인과관계가 아님에도 인과관계인 것처럼 착각하게 만드는 실험 케이스로 인과관계를 보기 위해 반드시 제거해야 하는 케이스이다.

첫번째로 Selection Bias가 발생할 수 있는 시나리오는 홈 화면에 새로 디자인된 이벤트 배너를 넣었는데, 실제 효과를 보려고 데이터를 뽑아보니 이벤트 탭 자주 들어가는 사용자만 노출되는 케이스이다.

이 경우, 적극적인 사용자만 분석에 들어갔기 때문에, "배너 때문에 구매한 것인지" vs. **"원래 구매하던 사람인지"를 구분 못하는 상황이 나온다. 사용자 관련 Randomization을 하지 않았기 때문에 발생할 수 있는 이슈이다.

Confounder Variable 관련해서는 푸시 알림을 보낸 그룹이 앱 재방문률이 높은데 알고보니 이 그룹은 최근에 가입한 유저들이었다다라는 시나리오를 생각해볼 수 있다. 이 경우 가입일자가 푸시알림 수신 여부 및 재방문율에 모두 영향을 미치는 케이스이다. 자칫하면 잘못된 판단으로 리텐션 캠페인을 설계할 수 있는 상황이다.

이런 케이스를 해소하기 위해서는 앞서 언급한 것처럼 사용자를 무작위로 나눠서 confounder와 selection bias 모두 차단하는게 필요하다.

이런 부분을 Randomization으로 해결할 수 있다니. A/B 테스트의 위력이 바로 여기 있다. 물론 Randomization을 어떻게 구현할 것인지, 그리고 시간이 흐름에 따라서 어떻게 유지할지를 고민하면 문제는 복잡해진다. 하지만 이 부분은 Tool의 몫이기 때문에 Tool이 고민해줄 것이라고 생각하면 A/B 테스트는 가장 쉬운 방법일 수 있다.

물론 이런 A/B 테스트가 항상 가능한 것은 아니기에 Quasi Experiment라던가 다양한 방법들이 존재하지만, 근거의 신뢰수준이 A/B 테스트보다는 높지 않기에 A/B 테스트를 (최대한) 제대로 할 수 있다면 인과관계를 확실하게 볼 수 있기에 A/B 테스트외의 대안을 너무 쉽사리 고민하지는 말아달라고 하는 편이다.