Holdout Group과 Control Group은 비슷하나 목적이 다르다.
Holdout Group은 실험에서 완전히 제외된 그룹으로, 주로 장기적인 영향을 평가하거나, 베이스라인을 측정하기
A/B Test
A/B테스트 시 사용되는 비모수 통계검정 방법론
비모수 통계검정
* 비모수 통계검정(Non-parametric test)은 데이터가 특정한 분포(정규분포 등)
A/B테스트의 신뢰성을 저하하는 현상, SRM(Sampling Ratio Mismatch)
SRM(Sampling Ratio Mismatch)란?
* SRM(Sampling Ratio Mismatch)은 A/B
탐험과 활용의 균형을 맞추기 위한 알고리즘, 톰슨샘플링
톰슨 샘플링이란?
* 톰슨 샘플링(Thompson Sampling)은 멀티 암드 밴딧 문제(Multi-Armed
SeedFinder는 실험 전 편향을 제거하기 위한 방법 중 하나입니다.
SeedFinder
* 편향을 최소화하기 위해 "SeedFinder" 방식에서 가장 적은 편향을 가진