Sign in Subscribe

Data

Log Normal Distribution(로그 정규 분포)

Log Normal Distribution은 Log를 취하면 Normal Distribution을 따르는 Random Variable에 대한 Distribution이다. PDF(Probability Density Function)는 다음과 같다. $$f(x)=\frac{1}{x\sigma \sqrt{2\pi}}exp\left ( -\frac{\left ( lnx-\mu \right )^{2}}{2\sigma ^{2}} \right ), ;;for ; x > 0, ; s > 0$$ Relation between normal and

Possion Distribution에서 𝜆를 구하기

문제 * ISP(Internet Service Provider에 t 시점에 도달하는 Ping의 수를 $X_t$라고 하 * 이 때 $X_t$는 Random Variable이고 매 10초마다 Ping의 없는 확률을 0.001이라고 할 때, 30초 내에 Ping이 10번이상 올 확률은 얼마인가? 해결 * $X_{t} \sim \text{Poisson}(\lambda t)$ 형태로 식을 정리할 수 있다.

Expectation Maximization (EM) Algorithm

Expectation Maximization(EM) Algorithm은 Latent Variable이 있는 상황에서 MLE (Maximum Likelihood Estimation)을 하기 위한 Algorithm이다. MLE가 관측된 데이터가 어떤 모델(Function)로부터 나왔는지를 계산하기 위해 "Max"인 Likelihood(가능도)를 계산하는 모델이라고 할 때 여기서 Latent Variable은 쉽게 생각하면 관측이 되지 못한 변수를 의미한다. 우리가 평소 공부할 때는 이상적인

데이터 모델로서 MVP(Minimum Viable Product)는 어떤 모습이어야 할까

데이터 모델로서 MVP(Minimum Viable Product)는 어떤 모습이어야 할까? MVP 자체가 프로덕트를 포함한 단어이기 때문에 데이터 모델이란 단어보다는 데이터 프로덕트라는 표현으로 접근하는게 더 좋지 않을까 생각한다. MVP로서 데이터 프로덕트라고 한들 아주 다르지는 않을 것이라고 생각한다. 린스타트업의 저자 에릭 리스(Eric Ries)는 MVP(최소기능제품)은 결국 제품이 제공하는 핵심여량과

시니어 데이터 과학자 면접에서 보는 것

※ 해당 내용은 회사를 대표하지 않는, 개인의 의견입니다. 2012년 HBR에서 Data Scientist를 "The Sexiest Job of the 21st Century"로 묘사한바 있다. 이 아티클을 기점으로 한국에서는 최근 몇년 사이 빅데이터, 데이터 과학, 4차산업혁명이 맞물려서 데이터 과학은 아주 한한 키워드가 되었고 많은 사람들이 데이터 과학자를 희망하면서 공부하였고, 또 취업을 하였다. 그렇게 시간이

Randomized Experiments

어떤 사람들은 3루에 태어났지만 자신이 3루타를 쳤다고 생각하면서 인생을 산다 - Barry Switzer Association $\neq$ Causation $$E[Y|T=1] - E[Y|T=0] = \underbrace{E[Y_1 - Y_0|T=1]}_{ATT} + \underbrace{\{ E[Y_0|T=1] - E[Y_0|T=0] \}}_{BIAS}$$ * 위 식에서

데이터 모델에 대한 수식없는 설명

배경 데이터 관련 업무로 돌아온지 4개월이 넘어간다. 사업의 목적을 달성하기 위해서 사업 등의 비개발부서와 현재 시점 뿐 만 아니라 장기적인 관점의 과제를 두고 다양한 논의를 한다. 그렇게 논의를 하다보면 종종 데이터 모델에 대해서 만능인것마냥 상황과 상관없이 항상 절대적으로 높은 수준의 서비스를 제공해줄 수 있을 것으로 기대하는 분들이 종종 있다. 이런