AB테스트 시 비회원의 그룹할당을 고민해야 하는 이유

A/B테스트 시, 비회원은 어떻게 그룹할당할지 고민하지 않으면, 특정 그룹으로 쏠리거나, 아예 반영되지 않는 상황을 야기할 수 있다.

통상 비회원은 회원번호를 공통으로 처리하고 있기 때문이다. 예를 들어 "000000000000"으로 한다. 회원번호를 문자로 하기보다는 Sequence 형태로 Integer Type으로 하는 경우가 많기 때문에 비회원도 수치로 표현하는 경우가 많다.

이렇게 수치로 할 경우, 이후에 A/B 테스트를 하면서 회원번호로 하면 아무래도 그룹할당을 Random으로 하기가 용이해지나, 비회원의 경우 동일한 번호를 가지고 있다보니, 한쪽 그룹에 몰리는 경우가 발생할 수 있다. 이 경우 비회원이 많은 비즈니스의 경우 비회원에 의해서 실험 결과가 아예 망가지는 결과를 낳을 수 있다.

물론 실험 결과 분석시 이 부분을 필터링하고 보면 되지만, 비회원의 규모가 큰 경우 실험결과를 모두 제외하고 보는 것은 비용 대비로도 좋지 않기 때문에 이 경우, 비회원의 회원번호 대신 기기아이디라던가, 다른 형태로 비회원을 개개인별로 특정할 수 있는 Identifier를 활용하는 것이 좋다.