PLM(Electra) Practice(네이버 리뷰 분류 모델)
전체 순서 * 라이브러리 로드 → 데이터셋 만들고 → 모델 로드하고 → Optimizer 설정하고, 데이터 로더로 데이터셋을 배치 사이즈에 맞게 불러올 수 있도록 준비하고 → Epoch에 맞게 반복 → Epoch
Tag
Data
Bayesian Count Estimation
Introudunction * 파이썬을 활용한 베이지안 통계 2판을 보면서 제대로 이해하고 있는지 기록하고 싶은 목적에서 Chapter5 수량추정의 문제를 직접 풀어본다. 기관차 문제(The Train Problem) * Source:
Ridge/Lasso Regression, Elastic Net
Regularization * Linear Regression에서는 Feature의 수가 많아질 수록 $R^2$가 증가하면서 Overfitting으로 가는 경우가 많다. 그래서 Regularization을 통해서 Overfitting이 되지 않도록 Cost Function 뒤에
선형 회귀(Linear Regression)
Base Class * init Function에서는 최적 $\beta$를 찾아가는 과정에서 Gradient Descent, 즉 을Loss Function을 최소화하는 방향으로 조금씩 값을 대입해보면서 최종 값을 찾아가는 형태이기 때문에
유전 알고리즘(Genetic Algorithm )
Genetic Algorithm * 존 홀랜드(John Holland)가 1975년에 저서 "Adaptation on Natural and Artificial Systems" 에서 처음 소개한 최적화 기법 * 실제 생물
Model Specification
Model Criteria * Model은 다음 기준이 고려될 때 좋은 모델로 평가될 수 있다. * Model should be simple * Model World는 Real World를 단순하게 형상화 한 것으로,
베이지안 최적화(Bayesian Optimization)
Bayesian Optimization * Bayesian Optimization은 Training을 통해 파악하게 되는 Parameter와 별개로, 사전에 사람이 직접 입력해야 하는 HyperParameter를 최적화하기 위한 방법으로 아래와 같은 식과 같이 임의의
중복이미지 검출(Duplicate Image Detection)
모델 선정시 요구사항 * 현재 가지고 있는 이미지 데이터 규모 * 중복이미지 검출시 정확도 * Inference 시 실시간 여부 쓸 수 있는 기술 * FileName: File Naming Scheme에
[TIL]RMSE(Root Mean Squared Error)
Why? * List Comprehension이 익숙치 않아 연습차원에 기존 Evaluation Metric을 줄여보려는 시도로 작성 * 작성하는 김에 numpy, sklearn, torch 모두 작성. * $RMSE = \sqrt {\sum\limits_{i=
BERTopic 주요 내용 요약 및 정리
어떤 모델인가? * Topic Modeling 기법 중 하나이다. * BERT 기반 Embedding + Class-based TF-IDF를 사용한 것이 아이디어의 핵심이다. 구조 * 크게 세 단계로 나눠서 볼
MLE(Maximum Likelihood Estimation)
시작하면서 * 이전에 Random Variable에 대한 글을 작성했던 적이 있다. 현재 우리가 관측하고 있는 숫자는 사실 여러 가능성 중 일부가 관측된 형태라고 볼 수 있다.
Numpy vs Torch
Numpy와 Torch의 차이 * Numpy는 일반적인 ML을 위해서 이용되나, Torch Tensor는 무거운 행렬연산에 최적화되어 GPU 사용을 지원 * Torch Tensor는 Tensor 생성시 추가 Parameter로 device_type과