Tag

A/B Test

AB테스트를 하지 않을 때 발생할 수 있는 실수
Data

AB테스트를 하지 않을 때 발생할 수 있는 실수

회사에서 실험의 중요성이 대두되고 있다. 여기서 실험은 A/B 테스트를 말한다. 이러한 실험이 중요시 되는 것은 바로 글로벌 기업이 되었기 때문이다. 글로벌 기업이 되면

· 4 min read
Holdout Group과 Control Group은 비슷하나 목적이 다르다.
A/B Test

Holdout Group과 Control Group은 비슷하나 목적이 다르다.

Holdout Group은 실험에서 완전히 제외된 그룹으로, 주로 장기적인 영향을 평가하거나, 베이스라인을 측정하기 위해서 사용되는 경우가 많다. 언틋 보면 Holdout Group은 Control Group과 큰 차이가

· 2 min read
A/B테스트 시 사용되는 비모수 통계검정 방법론
A/B Test

A/B테스트 시 사용되는 비모수 통계검정 방법론

비모수 통계검정 * 비모수 통계검정(Non-parametric test)은 데이터가 특정한 분포(정규분포 등)를 따르지 않아도 적용할 수 있는 통계적 방법입니다. * 즉, 데이터의 분포를

· 10 min read
A/B테스트의 신뢰성을 저하하는 현상, SRM(Sampling Ratio Mismatch)
A/B Test

A/B테스트의 신뢰성을 저하하는 현상, SRM(Sampling Ratio Mismatch)

SRM(Sampling Ratio Mismatch)란? * SRM(Sampling Ratio Mismatch)은 A/B 테스트에서 두 개 이상의 그룹에 할당된 샘플 수가 의도한 비율과 일치하지 않는

· 5 min read
탐험과 활용의 균형을 맞추기 위한 알고리즘, 톰슨샘플링
A/B Test

탐험과 활용의 균형을 맞추기 위한 알고리즘, 톰슨샘플링

톰슨 샘플링이란? * 톰슨 샘플링(Thompson Sampling)은 멀티 암드 밴딧 문제(Multi-Armed Bandit Problem)에서 사용되는 확률론적 알고리즘으로, 다양한 선택지(예: 광고, 제품

· 7 min read
SeedFinder는 실험 전 편향을 제거하기 위한 방법 중 하나입니다.
Data

SeedFinder는 실험 전 편향을 제거하기 위한 방법 중 하나입니다.

SeedFinder * 편향을 최소화하기 위해 "SeedFinder" 방식에서 가장 적은 편향을 가진 SaltKey를 찾는 프로세스 * 기본적인 아이디어는 여러 SaltKey를 사용해 무작위화된 그룹을 생성하고, A/

· 3 min read