여러 분포를 결합하여 데이터의 분포를 모델링하는 Mixture Model
Mixture Model is
- Mixture Model은 여러개의 분포를 결합하여 데이터의 전체 분포를 모델링함
- 이 때 각 분포는 Component라고 보통 불리며 데이터가 각 Component로부터 생성될 확률을 가중치로 갖음
- 통상 실무에서 Mixture Model이라고 하면 대체로 GMM(Gaussian Mixture Model)임
Motivation
- 대부분의 현실 데이터는 단일 분포로 설명하기 어렵기 때문에 Mixture Model이 쓸모가 있음
- 히스토그램을 그렸을 때 쌍봉이 나오는 경우처럼, 여러 그룹의 데이터가 섞인 경우 이 경우 각 그룹을 별도의 분포로 모델링하는게 더욱 정확할 수 있음
Formula
-
Mixture Model의 PDF(Probability Density Function)은 다음과 같음
$$p(x) = \sum_{k=1}^{K} \pi_k \cdot p_k(x \mid \theta_k)$$ -
$K$는 Component의 수
-
$\pi_k$는 각 컴포넌트 kkk의 가중치로, $\sum_{k=1}^{K} \pi_k = 1$
-
$p_k(x \mid \theta_k)$ 는 Component $k$의 확률 밀도 함수
-
$theta_k$는 Component $k$의 파라미터
$$p(x) = \sum_{k=1}^{K} \pi_k \cdot \mathcal{N}(x \mid \mu_k, \Sigma_k)$$
- 위 수식은 Gaussian Mixture Model의 PDF(Probability Density Function)은 다음과 같음
- $N(x∣μk,Σk)$는 평균이 $\mu_k$이고 공분산 행렬이 $\Sigma_k$인 가우시안 분포
Pros & Cons
Pros
- 단일분포로 설명할 수 있는 복잡한 데이터 분포를 설명할 수 있음
- 여러개의 Component를 결합하여 다양한 형태의 데이터 분포를 섦여할 수 있음
- 특히 각 데이터가 특정 분포로 관측될 확률을 게종하기 때문에 데이터 이해도를 높일 수 있음
Cons
- 최적의 분포를 구하기 위해서는 여러번 실행하면서 적합시켜야할 필요가 있음
- 계산이 복잡하기 때문에 계산 비용이 Component의 수나 데이터의 크기에 민감하게 반응함
- 그리고 너무 데이터의 분포에 최적화하다보면 모델이 과적홥될 수 있음
Alternatives
- K Means Clustering: 간단하지만 데이터가 구형의 클러스터 안에 잘 속해야 성능이 좋다.
- Hierarchical Clustering: 계층적으로 접근하는 클러스터링
- DBScan: 클러스터링이 모양이 불규칙할 수록 성능이 좋으나 계산비용이 큰 편
Sample
from sklearn.mixture import GaussianMixture
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 데이터 생성
np.random.seed(0)
data1 = np.random.normal(0, 1, 500)
data2 = np.random.normal(5, 1, 200)
data3 = np.random.exponential(2, 100)
data = np.concatenate([data1, data2, data3])
# GMM 모델링
gmm = GaussianMixture(n_components=3)
gmm.fit(data.reshape(-1, 1))
# GMM 결과 출력
print("Means:", gmm.means_)
print("Covariances:", gmm.covariances_)
print("Weights:", gmm.weights_)
# 데이터 분포 시각화
plt.figure(figsize=(12, 6))
sns.histplot(data, bins=30, kde=False, color='g', stat='density', label='Data')
x = np.linspace(min(data), max(data), 1000).reshape(-1, 1)
logprob = gmm.score_samples(x)
pdf = np.exp(logprob)
plt.plot(x, pdf, '-k', label='GMM')
plt.title('Data with GMM Fit')
plt.xlabel('Value')
plt.ylabel('Density')
plt.legend()
# 각 컴포넌트의 기여도 시각화
for i in range(gmm.n_components):
pdf_i = gmm.weights_[i] * np.exp(gmm._estimate_log_prob(x)[:, i])
plt.plot(x, pdf_i, '--', label=f'Component {i+1}')
plt.legend()
plt.show()
# 데이터의 특성 분석
print("Data Mean:", np.mean(data))
print("Data Std Dev:", np.std(data))
