Tag

Data

Lemmatization과 Stemming은 활용목적이 다를 수 있다.
Data

Lemmatization과 Stemming은 활용목적이 다를 수 있다.

Lemmatization vs. Stemming 1. 정확성 vs. 단순화 * Lemmatization: 더 정교하고 정확한 방법입니다. 단어의 문법적 역할(품사)을 고려하여 원형을 찾아줍니다. 예를 들어, "better&

· 2 min read
패널데이터 분석에서 개체와 시간을 변동하기 위한 TwoWay Fixed Effect, Interactive Fixed Effects
Data

패널데이터 분석에서 개체와 시간을 변동하기 위한 TwoWay Fixed Effect, Interactive Fixed Effects

Two-Way Fixed Effects Definition * 두 가지 고정 효과(Two-Way Fixed Effects) 모델은 패널 데이터 분석에서 개체와 시간에 대한 변동을 모두 통제하는 방법입니다.

· 4 min read
실험시스템의 신뢰성을 테스트하기 위한 방법,A/A테스트
Data

실험시스템의 신뢰성을 테스트하기 위한 방법,A/A테스트

Motivation * A/A 테스트는 A/B 테스트의 한 형태, 두 개의 동일한 버전(A와 A)을 비교하여 실험 시스템이 제대로 작동하는지 확인하는 방법입니다. * 주로

· 5 min read
정규분포 분산의 사전분포로 활용되는 Inverse Chi-Square 분포
Data

정규분포 분산의 사전분포로 활용되는 Inverse Chi-Square 분포

정의 * Inverse Chi-Square 분포는 주로 베이지안 통계에서 분산을 모델링하는 데 사용되는 확률 분포입니다. * 이는 Chi-Square 분포의 역분포로, 자유도와 스케일 파라미터에 의해 정의됩니다.

· 3 min read
Author Topic Modeling, 저자 - 주제 관계를 포함한 토픽모델링
Data

Author Topic Modeling, 저자 - 주제 관계를 포함한 토픽모델링

Author Topic Modeling * **Author Topic Model(ATM)**은 텍스트 데이터에서 주제와 저자 간의 관계를 동시에 모델링하는 기법입니다. * 이는 저자가 작성한 문서의 주제 분포를 추정하고,

· 3 min read
다항분포의 사전분포로 사용되는 다변량 확률분포, Dirichlet 분포
Data

다항분포의 사전분포로 사용되는 다변량 확률분포, Dirichlet 분포

정의 * Dirichlet 분포는 다항 분포의 사전 분포로서 사용되는 다변량 확률 분포입니다. * 각 항목이 0과 1 사이의 값을 가지며 모든 항목의 합이 1이 되는 특성을

· 5 min read
Pydantic, 데이터 서빙시, Interface Data Validation 관련 라이브러리
Data

Pydantic, 데이터 서빙시, Interface Data Validation 관련 라이브러리

Motivation * Pydantic은 Validation Check를 위한 라이브러리로, 잘못된 데이터가 시스템에서 유입되고 운용되는 것을 막기 위한 라이브러리 * 비동기 웹 프레임워크인 FastAPI와 함께 많이 쓰임 @app.post(

· 3 min read
당신이 AI(ML)팀과 대화가 안되는 3가지 이유
Data

당신이 AI(ML)팀과 대화가 안되는 3가지 이유

ChatGPT의 등장 이후, 학계에서나 들렸던 다양한 인공지능의 언어들이 사회 곳곳에서 들리기 시작한다. 굳이 인공지능과 관련없던 일을 하는 사람들도 지금은 인공지능을 삶의 곳곳에서 자연스럽게 쓰고

· 5 min read
여러 분포를 결합하여 데이터의 분포를 모델링하는 Mixture Model
Data

여러 분포를 결합하여 데이터의 분포를 모델링하는 Mixture Model

Mixture Model is * Mixture Model은 여러개의 분포를 결합하여 데이터의 전체 분포를 모델링함 * 이 때 각 분포는 Component라고 보통 불리며 데이터가 각 Component로부터 생성될 확률을

· 3 min read
학습시 "존재"하는 고유범주값을 고유정수값으로 치환하는 Label Encoder
Data

학습시 "존재"하는 고유범주값을 고유정수값으로 치환하는 Label Encoder

Background * 가게별로 예측치를 제공할 때 가게에 대한 식별자를 어떻게 전달할 것인가에 대해서 고민한 적이 있고, Label Encoder를 사용했던 적이 있다. Label Encoder is. * Label

· 2 min read
ReLU의 대안, Leaky ReLU
Data

ReLU의 대안, Leaky ReLU

사실 너무나도 오래된 Activatio Function이지만, 복기 차원에서 정리해보았음 Leaky ReLU is * Leaky ReLU(Leaky Rectified Linear Unit)는 ReLU(Rectified Linear Unit)의 변형으로,

· 3 min read
이상치에 덜민감한 L1+L2 = Huber Loss
Data

이상치에 덜민감한 L1+L2 = Huber Loss

Why Huber Loss * 주요 모델링 업무 중 하나로 배달시간을 예측하다보면, Long Tail Distribution 형태의 모습을 자주 보게 된다. 이 부분에 대응하기 위해 Doordash도 비슷한

· 4 min read