Data
언제 사용하는가? * $X = {x_1,x_2,...,x_N}$이 있고 $X$의 Latent Varaible로 $Z$가 있을 때, Posterior인 $P(Z|X)$를 구하고 싶으나 구하기 어려울 때가 있다. 이 때 $p(z|x)$를 Variational Distirbution $q(z)$을 통해서 근사해서 구하는 방식이다. * 물론 EM(Expectation Maximization Algorithm)
Data
"소로스"는 워런버핏과 더불어 성공한 한 시대의 투자가로서 아흔을 넘어 여전히 정력적으로 활동하고 있다. 하지만 그에 대해서 우리가 아는 것은 거의 없다. 나 역시도 "영국과 싸워 이긴 헤지펀드 투자가" 정도로만 기억하고 있을 뿐이다. 그런 그가 생전 듣지도 못했던 대학 "중부유럽대학"에서 특강을 했다는 이야기를
Data
Target Encoding은 해당 Category에 나타난 Target Variable의 평균을 이용해서 Categorical Values를 대체하는 방식이다. 구성원의 코드를 리뷰하던 도중, Label Encoder를 쓴 부분들을 보다가 Label Encoder를 쓰는게 맞는가에 대한 생각이 들어 대안을 생각해보던 중 Target Encoder가 떠올랐다. 평균이라는 하나의 Value로 Categorical Value를 대체하기 때문에 간편하기도 하고, Label Encoder로 했을 경우 대치된 수치간의
Data
Entropy는 Cross Entropy Loss라는 이름으로 Deep Learning에서 분류 모델을 하는 이에게는 꽤나 익숙한 함수이다. 식으로는 다음과 같이 쓴다. $$-{1 \over n}\sum\limits^n_{i=1}\sum\limits^c_{c=1}L_{ic}log(P_{ic})$$ * $n$ = 데이터 갯수 * $C$ = 범주 갯수 * $L$ = 실제 값 (주로 0 또는 1)
Data
* 강점 * Attention을 활용, 반복을 최소화하고, Positional Encoding을 활용해서 parallelization 지원 * Attention을 활용하여 Input Sequence에서 다른 Sequence의 어떠한 부분이 중요한지 결정 * 구조 * $X$개의 Encoder와 $X$의 Decoder로 구성되어 있음 * Encoder와 Decoder의 수는 동일하며, Encoder는 모두 동일한 구조, but Weight Matrix를 공유하지 않음 * Encoder는 Self-Attention과 Feed-Forward로 구성되어 있음 * Self Attention에서는 $K,
Data
Long Tail Event * Long Tail Event는 Right Skewed Distribution 에서 발생하는 특징 중 하나로, Outlier와도 비슷해보이지만, Outlier대비 상당히 길게 꼬리형태로 길게 이어지는 Data Point들이 보이고, 이들의 빈도가 상대적으로 높은 편이다. 이러한 형태는 이커머스나 배달앱 등 여러 곳에서 자주 보이는 형태이다. 전체 회원을 RFM 관점으로 나눠서 봐도 Long Tail Event를 찾아
Data
Tutorial Model Training Model 생성 * Iris Dataset 과 SVM을 이용해서 모델을 만들어주고 저장한다. 이 때 저장 파일은 환경변수 BENTOML_HOME에 지정된 곳을 루트 디렉토리 아래 모델이 생성된다. import bentoml from sklearn import svm, datasets # Load training data iris = datasets.load_iris() X, y = iris.data, iris.target # Model Training clf
Data
요약 배경 * 이미지는 고객에게 어필하기 위한 가장 좋은 데이터 소스 * 초기에는 적은 이미지로 간단한 로직을 가지고 Feasibility Test 시작 * 현재 가게를 꾸미는 이미지는 사장님이 임의로 선택하고 있으나, 가게의 현 상황을 충분히 반영하고 있지는 못함 초기 개발과정(MVP) * 현 상황에서 대해서 Personalization Team이 빠르게 분석하면서 Iteration을 돌기 시작함 * 적절한 정책을 수립해서
Data
Log Normal Distribution은 Log를 취하면 Normal Distribution을 따르는 Random Variable에 대한 Distribution이다. PDF(Probability Density Function)는 다음과 같다. $$f(x)=\frac{1}{x\sigma \sqrt{2\pi}}exp\left ( -\frac{\left ( lnx-\mu \right )^{2}}{2\sigma ^{2}} \right ), ;;for ; x > 0, ; s > 0$$ Relation between
Data
문제 * ISP(Internet Service Provider에 t 시점에 도달하는 Ping의 수를 $X_t$라고 하 * 이 때 $X_t$는 Random Variable이고 매 10초마다 Ping의 없는 확률을 0.001이라고 할 때, 30초 내에 Ping이 10번이상 올 확률은 얼마인가? 해결 * $X_{t} \sim \text{Poisson}(\lambda t)$ 형태로 식을 정리할 수 있다.
Data
Expectation Maximization(EM) Algorithm은 Latent Variable이 있는 상황에서 MLE (Maximum Likelihood Estimation)을 하기 위한 Algorithm이다. MLE가 관측된 데이터가 어떤 모델(Function)로부터 나왔는지를 계산하기 위해 "Max"인 Likelihood(가능도)를 계산하는 모델이라고 할 때 여기서 Latent Variable은 쉽게 생각하면 관측이 되지 못한 변수를 의미한다. 우리가 평소 공부할
Data
데이터 모델로서 MVP(Minimum Viable Product)는 어떤 모습이어야 할까? MVP 자체가 프로덕트를 포함한 단어이기 때문에 데이터 모델이란 단어보다는 데이터 프로덕트라는 표현으로 접근하는게 더 좋지 않을까 생각한다. MVP로서 데이터 프로덕트라고 한들 아주 다르지는 않을 것이라고 생각한다. 린스타트업의 저자 에릭 리스(Eric Ries)는 MVP(최소기능제품)은 결국 제품이 제공하는 핵심여량과
Business
※ 해당 내용은 회사를 대표하지 않는, 개인의 의견입니다. 2012년 HBR에서 Data Scientist를 "The Sexiest Job of the 21st Century"로 묘사한바 있다. 이 아티클을 기점으로 한국에서는 최근 몇년 사이 빅데이터, 데이터 과학, 4차산업혁명이 맞물려서 데이터 과학은 아주 한한 키워드가 되었고 많은 사람들이 데이터 과학자를 희망하면서 공부하였고, 또 취업을 하였다.
Data
어떤 사람들은 3루에 태어났지만 자신이 3루타를 쳤다고 생각하면서 인생을 산다 - Barry Switzer Association $\neq$ Causation $$E[Y|T=1] - E[Y|T=0] = \underbrace{E[Y_1 - Y_0|T=1]}_{ATT} + \underbrace{\{ E[Y_0|T=1] - E[Y_0|T=0] \}}_{BIAS}$$ * 위 식에서
Data
배경 데이터 관련 업무로 돌아온지 4개월이 넘어간다. 사업의 목적을 달성하기 위해서 사업 등의 비개발부서와 현재 시점 뿐 만 아니라 장기적인 관점의 과제를 두고 다양한 논의를 한다. 그렇게 논의를 하다보면 종종 데이터 모델에 대해서 만능인것마냥 상황과 상관없이 항상 절대적으로 높은 수준의 서비스를 제공해줄 수 있을 것으로 기대하는 분들이 종종 있다. 이런
Linear Algebra
Vector Space * 집합 내 원소간 대한 덧셈과 상수곱을 했을 때 결과가 모두 해당 집합에 속하고, 다음 조건을 만족하는 집합을 Vector Space라고 정의한다 * 합에 대하여 * 교환법칙: $a + b = b + a$ * 결합법칙 $(a + b) + c = a + (b + c)$ * 항등원: $a + 0 = a$ * 역원: $a + (-a) = 0$ * 상수곱에 대하여 * 분배법칙 * $c(a + b)