Model Drift Check Library, Evidently AI

Evidently AI

Evidently AI는 머신러닝 모델의 성능과 데이터 분포의 변화를 시각적으로 분석하고 모니터링할 수 있는 Python 라이브러리입니다. 이 라이브러리는 모델의 드리프트를 탐지하고, 이를 기반으로 모델의 성능 저하를 사전에 예방하는 데 유용합니다.

주요 기능

• 데이터 드리프트 감지: 현재 데이터와 과거 데이터 간의 분포 차이를 분석합니다.
  • 대규모 데이터 처리: 대규모 데이터에 대해 성능이 다소 떨어질 수 있으며, 리소스 사용이 증가할 수 있습니다.
• 모델 성능 모니터링: 예측된 결과와 실제 결과 간의 차이를 모니터링하여 모델의 성능을 분석합니다.
• 시각화 보고서 생성: 다양한 시각화 도구를 통해 모델의 성능 변화를 쉽게 이해할 수 있는 보고서를 생성합니다.
  • 커스터마이징 제한: 제공되는 지표와 시각화 도구가 기본적으로 설정되어 있어, 특정 상황에 맞춘 커스터마이징이 어려울 수 있습니다.

Sample

import numpy as np  
import pandas as pd  
  
# 데이터 생성 파라미터  
n_samples = 1000  
np.random.seed(42)  
  
# 시간대에 따른 배달 시간 설정  
def generate_delivery_time(hour, rider_acceptance_rate, num_riders):  
    base_time = 25  # 전체 배달 시간 평균 25분  
    # 점심, 저녁 시간대 배달 시간 증가  
    if 11 <= hour <= 13 or 18 <= hour <= 20:    
        variance = np.random.normal(loc=10, scale=2)  # 배달시간이 늘어짐  
    else:    
        variance = np.random.normal(loc=5, scale=1)  # 기본 배달시간  
    # 라이더 배차 수락율과 규모에 따른 배달시간 조정  
    rider_effect = 1 / (rider_acceptance_rate * num_riders + 1)  
      
    return base_time + variance * rider_effect  
  
# 가상의 데이터 생성  
hours = np.random.randint(0, 24, n_samples)  
rider_acceptance_rates = np.random.uniform(0.5, 1.0, n_samples)  
num_riders = np.random.randint(10, 50, n_samples)  
  
delivery_times = [generate_delivery_time(hour, rate, riders)   
                  for hour, rate, riders in zip(hours, rider_acceptance_rates, num_riders)]  
  
# 데이터프레임으로 정리  
df = pd.DataFrame({  
    'hour': hours,  
    'rider_acceptance_rate': rider_acceptance_rates,  
    'num_riders': num_riders,  
    'delivery_time': delivery_times  
})

from evidently.report import Report  
from evidently.metric_preset import DataDriftPreset  
  
# 데이터 프레임을 두 개의 기간으로 나누어 모델 드리프트 확인  
reference_data = df[:500]  # 첫 번째 시점의 데이터  
current_data = df[500:]    # 두 번째 시점의 데이터  
  
# Evidently 리포트 생성  
report = Report(metrics=[DataDriftPreset()])  
report.run(reference_data=reference_data, current_data=current_data)  
  
# 리포트 출력  
report