Target Encoding에 대한 간략한 요약

Target Encoding은 해당 Category에 나타난 Target Variable의 평균을 이용해서 Categorical Values를 대체하는 방식이다. 구성원의 코드를 리뷰하던 도중, Label Encoder를 쓴 부분들을 보다가 Label Encoder를 쓰는게 맞는가에 대한 생각이 들어 대안을 생각해보던 중 Target Encoder가 떠올랐다.

평균이라는 하나의 Value로 Categorical Value를 대체하기 때문에 간편하기도 하고, Label Encoder로 했을 경우 대치된 수치간의 합이 의미하는 바가 없음에도 불구하고 계산 상의 이슈를 불러일으킬 수가 있기에 대안으로 문득 생각이 났다.

하지만 몇몇 간단한 값으로, 그 것도 평균으로 대치하다보니 Overfitting에 대한 이슈를 가지고 있는 것이 사실이다. 그래서 이를 방지하고자 최종 값에 대한 불확실성(Uncertainty)를 조금씩 추가한다.

예를 들어 해당 Row에 대한 Target Encoded Value를 계산시 해당 Row의 Target Value를 제외한 평균을 쓴다든가, 또는 Category 내 Target Value의 평균과 Global Target Value의 평균을 혼합해서 사용하는 방법도 있고, 어차피 Uncertainty를 추가하는 데 목적이 동일하기에 Gaussian Noise를 넣어주는 방식도 있겠다.

다음 코드는 가장 간단한 방식, 평균으로 대치하는 방식이다.

import pandas as pd;
data = [['Salt Lake City', 10, 120], ['Seattle', 5, 120], ['San Franscisco', 5, 140],
['Seattle', 3, 100], ['Seattle', 1, 70], ['San Franscisco', 2, 100],['Salt Lake City', 1, 60],
['San Franscisco', 2, 110], ['Seattle', 4, 100],['Salt Lake City', 2, 70] ]
df = pd.DataFrame(data, columns = ['City', 'Years OF Exp','Yearly Salary in Thousands'])
df

stats = df['Yearly Salary in Thousands'].groupby(df['City']).agg(['count', 'mean'])
stats

df.merge(stats.reset_index())

다음 코드는 Smoothing을 주어서 Encoded Value가 크게 서로 다르지 않으도록 해주는 방식이다. $$encoding = \alpha \cdot p(t=1|x=c_i) + (1- \alpha) \cdot p(t=1)$$

import numpy as np
smoothing_factor = 1.0 # The f of the smoothing factor equation
min_samples_leaf = 1 # The k of the smoothing factor equation
prior = df['Yearly Salary in Thousands'].mean()
smoove = 1 / (1 + np.exp(-(stats['count'] - min_samples_leaf) / smoothing_factor))
smoothing = prior * (1 - smoove) + stats['mean'] * smoove
encoded = pd.Series(smoothing, name = 'genre_encoded_complete')

이 외에도 다양한 방식이 있다. 아이디어는 간단한다 Target Value와 Categorical Value간의 연관성을 수치로 변환해주는 것이다. One Hot Eencoding이나 Label Encoding 역시 좋은 방법이나 때에 따라서  적절한 방법의 Encoding이 어떤 것인지는 충분한 고민이 필요하니 알아둬서 나쁠 것은 없다고 본다

References

• Target-encoding Categorical Variables
• [Target Encoding for Categorical Features](Leave-One-Out Target Encoding)