Tag

Data

Data

Transformer 요약 정리

* 강점 * Attention을 활용, 반복을 최소화하고, Positional Encoding을 활용해서 parallelization 지원 * Attention을 활용하여 Input Sequence에서 다른 Sequence의 어떠한 부분이 중요한지 결정 * 구조 * $X$개의 Encoder와

· 2 min read
Data

Long Tail Event에서 예측시 정확도 높이기 (Doordash Case)

Long Tail Event * Long Tail Event는 Right Skewed Distribution 에서 발생하는 특징 중 하나로, Outlier와도 비슷해보이지만, Outlier대비 상당히 길게 꼬리형태로 길게 이어지는 Data Point들이

· 4 min read
Data

Bento ML Quick Example

Tutorial Model Training Model 생성 * Iris  Dataset 과  SVM을 이용해서 모델을 만들어주고 저장한다. 이 때 저장 파일은 환경변수 BENTOML_HOME에 지정된 곳을 루트 디렉토리

· 2 min read
Data

Doordash의 Image Selection Model

요약 배경 * 이미지는 고객에게 어필하기 위한 가장 좋은 데이터 소스 * 초기에는 적은 이미지로 간단한 로직을 가지고 Feasibility Test  시작 * 현재 가게를 꾸미는 이미지는 사장님이

· 6 min read
Data

Log Normal Distribution(로그 정규 분포)

Log Normal Distribution은 Log를 취하면 Normal Distribution을 따르는 Random Variable에 대한 Distribution이다. PDF(Probability Density Function)는 다음과 같다. $$f(x)=\frac{1}{x\

· 1 min read
Data

Possion Distribution에서 𝜆를 구하기

문제 * ISP(Internet Service Provider에 t 시점에 도달하는 Ping의 수를 $X_t$라고 하 * 이 때 $X_t$는 Random Variable이고 매 10초마다 Ping의

· 1 min read
Data

Expectation Maximization (EM) Algorithm

Expectation Maximization(EM) Algorithm은 Latent Variable이 있는 상황에서 MLE (Maximum Likelihood Estimation)을 하기 위한 Algorithm이다. MLE가 관측된 데이터가 어떤 모델(Function)로부터 나왔는지를

· 2 min read
Data

데이터 모델로서 MVP(Minimum Viable Product)는 어떤 모습이어야 할까

데이터 모델로서 MVP(Minimum Viable Product)는 어떤 모습이어야 할까? MVP 자체가 프로덕트를 포함한 단어이기 때문에 데이터 모델이란 단어보다는 데이터 프로덕트라는 표현으로 접근하는게 더

· 3 min read
Business

시니어 데이터 과학자 면접에서 보는 것

※ 해당 내용은 회사를 대표하지 않는, 개인의 의견입니다. 2012년 HBR에서 Data Scientist를 "The Sexiest Job of the 21st Century"로 묘사한바 있다. 이

· 5 min read
Data

Randomized Experiments

어떤 사람들은 3루에 태어났지만 자신이 3루타를 쳤다고 생각하면서 인생을 산다 - Barry Switzer Association $\neq$ Causation $$E[Y|T=1] - E[Y|T=0] = \underbrace{

· 2 min read
Data

데이터 모델에 대한 수식없는 설명

배경 데이터 관련 업무로 돌아온지 4개월이 넘어간다.  사업의 목적을 달성하기 위해서 사업 등의 비개발부서와 현재 시점 뿐 만 아니라 장기적인 관점의 과제를 두고 다양한

· 5 min read
Linear Algebra

Vector Space, Linear Independent, Basis

Vector Space * 집합 내 원소간 대한 덧셈과 상수곱을 했을 때 결과가 모두 해당 집합에 속하고, 다음 조건을 만족하는 집합을 Vector Space라고 정의한다 * 합에 대하여

· 2 min read