A/B Test

A/B Test

Holdout Group과 Control Group은 비슷하나 목적이 다르다.

Holdout Group은 실험에서 완전히 제외된 그룹으로, 주로 장기적인 영향을 평가하거나, 베이스라인을 측정하기 위해서 사용되는 경우가 많다. 언틋 보면 Holdout Group은 Control Group과 큰 차이가 없어보이기도 하다. 실제로 시험을 셋팅할 때 가장 많이 듣는 질문 중의 하나가 바로 왜 Control Group과 Holdout Group을 별도로 셋팅하는가이다. Holdout Group과 Control Group의 차이는 실험에

A/B Test

A/B테스트 시 사용되는 비모수 통계검정 방법론

비모수 통계검정 * 비모수 통계검정(Non-parametric test)은 데이터가 특정한 분포(정규분포 등)를 따르지 않아도 적용할 수 있는 통계적 방법입니다. * 즉, 데이터의 분포를 가정하지 않고 실험 결과를 비교할 수 있어 작은 샘플 크기나 분포가 불확실한 상황에서 유용하게 사용됩니다. * 비모수 검정은 데이터를 순위로 변환하여 분석하거나, 데이터 자체의 분포에 대해 통계적 결론을

A/B Test

A/B테스트의 신뢰성을 저하하는 현상, SRM(Sampling Ratio Mismatch)

SRM(Sampling Ratio Mismatch)란? * SRM(Sampling Ratio Mismatch)은 A/B 테스트에서 두 개 이상의 그룹에 할당된 샘플 수가 의도한 비율과 일치하지 않는 현상을 말합니다. * 예를 들어, A/B 테스트를 진행할 때 A와 B 그룹에 각각 50%씩 트래픽을 할당하는 것이 일반적입니다. 하지만 예상과 다르게, A 그룹에 70%, B

A/B Test

탐험과 활용의 균형을 맞추기 위한 알고리즘, 톰슨샘플링

톰슨 샘플링이란? * 톰슨 샘플링(Thompson Sampling)은 멀티 암드 밴딧 문제(Multi-Armed Bandit Problem)에서 사용되는 확률론적 알고리즘으로, 다양한 선택지(예: 광고, 제품 추천) 중에서 가장 효율적인 선택지를 반복적으로 탐색하는 방법입니다 * 이는 탐험(Exploration)과 활용(Exploitation)의 균형을 잘 맞추기 위한 기법으로, 각 선택지의 성공 확률을 베이지안 방법론을 통해

Data

SeedFinder는 실험 전 편향을 제거하기 위한 방법 중 하나입니다.

SeedFinder * 편향을 최소화하기 위해 "SeedFinder" 방식에서 가장 적은 편향을 가진 SaltKey를 찾는 프로세스 * 기본적인 아이디어는 여러 SaltKey를 사용해 무작위화된 그룹을 생성하고, A/A 테스트에서 이 그룹들의 성과 지표(예: 전환율 등)가 균등한지 평가하여 편향이 적은 SaltKey를 선택하는 것입니다. 전체 프로세스 1. 여러 SaltKey를 생성 2. 각 SaltKey에