Data

실험시스템의 신뢰성을 테스트하기 위한 방법,A/A테스트

Bongho, Lee

2024년 7월 1일 — 5 min read

Photo by Mari Helin / Unsplash

Motivation

A/A 테스트는 A/B 테스트의 한 형태, 두 개의 동일한 버전(A와 A)을 비교하여 실험 시스템이 제대로 작동하는지 확인하는 방법입니다.
주로 실험 설계 및 실행 프로세스의 신뢰성을 검증하고, 데이터 수집 및 분석 과정에서의 오류를 감지하는 데 사용됩니다.
그 외에, 통계적 유의성 검증, 시스템 업데이트 후 검증, 데이터 수집 및 분석 파이프라인 검증, 사용자 경험 및 UI 관련 검증에도 쓰일 수 있습니다.
웹사이트의 페이지 로드 속도나 사용자 행동(예: 클릭률, 체류 시간)과 같은 메트릭에 대한 통계적 검증을 수행합니다.
동일한 광고 캠페인 소재를 두 그룹에 노출시켜, 광고 시스템의 신뢰성을 검증합니다.

Pros & Cons

Pros

시스템 검증: 실험 시스템이 올바르게 작동하는지 확인할 수 있습니다.
데이터 수집 검증: 데이터 수집 과정에서 오류가 없는지 확인할 수 있습니다.
분석 도구 검증: 분석 도구 및 방법론이 올바르게 설정되었는지 확인할 수 있습니다.
기준 설정: A/B 테스트를 수행하기 전에 기준 데이터를 설정할 수 있습니다.

Cons

시간 소모: 추가적인 테스트 단계로 인해 시간이 소모될 수 있습니다.
자원 소모: 동일한 두 버전을 테스트하기 위해 자원이 소모될 수 있습니다.
직접적인 인사이트 부족: A/A 테스트는 두 버전이 동일하기 때문에 직접적인 비즈니스 인사이트를 제공하지 않습니다.

Alternative

프리테스트: 실제 A/B 테스트 전에 소규모로 시스템을 테스트하여 오류를 검출하는 방법입니다.
샌드박스 테스트: 실제 운영 환경과 유사한 샌드박스 환경에서 테스트를 수행하여 시스템을 검증합니다.
모니터링 및 로깅: 실시간 모니터링 및 로깅을 통해 시스템 오류를 지속적으로 감지하고 수정합니다.

Sample

이 코드는 두 개의 동일한 그룹(A와 A)에 대해 T-검정을 수행하여 통계적 차이가 있는지 검증합니다.
p-value가 설정한 임계값(alpha)보다 크다면, 두 그룹 간에 통계적 차이가 없다고 결론짓고, A/A 테스트가 통과되었음을 의미합니다.

[import numpy as np
from scipy import stats

# 그룹 A와 그룹 B의 동일한 데이터 생성
np.random.seed(42)
group_a = np.random.normal(loc=0.5, scale=0.1, size=1000)
group_b = np.random.normal(loc=0.5, scale=0.1, size=1000)



# T-검정을 사용하여 두 그룹 간의 차이 검증
t_stat, p_value = stats.ttest_ind(group_a, group_b)

print(f"T-statistic: {t_stat}")
print(f"P-value: {p_value}")

# 결과 해석
alpha = 0.05
if p_value > alpha:
    print("두 그룹 간의 통계적 차이가 없습니다. (A/A 테스트 통과)")
else:
    print("두 그룹 간의 통계적 차이가 있습니다. (A/A 테스트 실패)")](<import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 랜덤 시드 설정 (재현 가능성)
np.random.seed(42)

# 광고 캠페인 A와 A의 클릭 데이터를 생성
# 캠페인 A와 A는 동일한 클릭률을 가짐
click_rate = 0.05  # 클릭률 5%
impressions = 10000  # 각 캠페인의 노출 수

# 광고 클릭 데이터 생성 (이항 분포 사용)
clicks_a1 = np.random.binomial(impressions, click_rate)
clicks_a2 = np.random.binomial(impressions, click_rate)

print(f"캠페인 A1 클릭 수: {clicks_a1}")
print(f"캠페인 A2 클릭 수: {clicks_a2}")

# 클릭률 계산
ctr_a1 = clicks_a1 / impressions
ctr_a2 = clicks_a2 / impressions

print(f"캠페인 A1 클릭률: {ctr_a1:.4f}")
print(f"캠페인 A2 클릭률: {ctr_a2:.4f}")

# T-검정을 사용하여 두 그룹 간의 차이 검증
t_stat, p_value = stats.ttest_ind_from_stats(mean1=ctr_a1, std1=np.sqrt(ctr_a1 * (1 - ctr_a1) / impressions),
                                             nobs1=impressions, mean2=ctr_a2, std2=np.sqrt(ctr_a2 * (1 - ctr_a2) / impressions),
                                             nobs2=impressions)

print(f"T-statistic: {t_stat:.4f}")
print(f"P-value: {p_value:.4f}")

# 결과 해석
alpha = 0.05
if p_value %3E alpha:
    print("두 캠페인 간의 통계적 차이가 없습니다. (A/A 테스트 통과)")
else:
    print("두 캠페인 간의 통계적 차이가 있습니다. (A/A 테스트 실패)")

# 시각화
labels = ['Campaign A1', 'Campaign A2']
click_rates = [ctr_a1, ctr_a2]

plt.bar(labels, click_rates, color=['blue', 'orange'])
plt.ylabel('Click Through Rate (CTR)')
plt.title('A/A Test: Click Through Rate Comparison')
plt.ylim(0, max(click_rates) + 0.01)
plt.show()>)