Pydantic, 데이터 서빙시, Interface Data Validation 관련 라이브러리
Motivation
* Pydantic은 Validation Check를 위한 라이브러리로, 잘못된 데이터가 시스템에서 유입되고 운용되는 것을
Data
당신이 AI(ML)팀과 대화가 안되는 3가지 이유
ChatGPT의 등장 이후, 학계에서나 들렸던 다양한 인공지능의 언어들이 사회 곳곳에서 들리기 시작한다.
여러 분포를 결합하여 데이터의 분포를 모델링하는 Mixture Model
Mixture Model is
* Mixture Model은 여러개의 분포를 결합하여 데이터의 전체 분포를 모델링함
학습시 "존재"하는 고유범주값을 고유정수값으로 치환하는 Label Encoder
Background
* 가게별로 예측치를 제공할 때 가게에 대한 식별자를 어떻게 전달할 것인가에 대해서
ReLU의 대안, Leaky ReLU
사실 너무나도 오래된 Activatio Function이지만, 복기 차원에서 정리해보았음
Leaky ReLU is
* Leaky
이상치에 덜민감한 L1+L2 = Huber Loss
Why Huber Loss
* 주요 모델링 업무 중 하나로 배달시간을 예측하다보면, Long Tail
ONNX, 다양한 ML 프레임워크 간 모델의 상호운용 및 배포를 도와주는 프레임워크
Onnx is
* Open Neural Network Exchange의 약자로 Pytorchs나 Tensorflow 등 다양한 Framework를
대량 데이터에 대한 유사도 측정의 대안, MinHash & LSH
MinHash & LSH are
* MinHash는 두 집합간의 유사도를 측정하는 기술로 각 집합을
Representation Fine Tuning
FineTuning 장점
* Privacy
* Reliability
* Cost-Efficient Performance
* More Control
FineTuning
* Full Fine Tuning:
어떤 데이터를 어떻게 볼지는 엔지니어링 이전에 결정되어야 한다.
데이터가 없는 회사는 없다. 활용하지 않을 뿐이다. 모든 회사는 데이터를 가지고 있다.
Pandas Aggregation을 대체하는 RDB 라이브러리, DuckDB
Data Prep
* New York City Taxi and Limousine Commission (TLC) Trip Record
AB테스트 시 비회원의 그룹할당을 고민해야 하는 이유
A/B테스트 시, 비회원은 어떻게 그룹할당할지 고민하지 않으면, 특정 그룹으로 쏠리거나, 아예