[TIL]RMSE(Root Mean Squared Error)
Why? * List Comprehension이 익숙치 않아 연습차원에 기존 Evaluation Metric을 줄여보려는 시도로 작성 * 작성하는 김에 numpy, sklearn, torch 모두 작성. * $RMSE = \sqrt {\sum\limits_{i=
Author
Bongho Lee
BERTopic 주요 내용 요약 및 정리
어떤 모델인가? * Topic Modeling 기법 중 하나이다. * BERT 기반 Embedding + Class-based TF-IDF를 사용한 것이 아이디어의 핵심이다. 구조 * 크게 세 단계로 나눠서 볼
MLE(Maximum Likelihood Estimation)
시작하면서 * 이전에 Random Variable에 대한 글을 작성했던 적이 있다. 현재 우리가 관측하고 있는 숫자는 사실 여러 가능성 중 일부가 관측된 형태라고 볼 수 있다.
Numpy vs Torch
Numpy와 Torch의 차이 * Numpy는 일반적인 ML을 위해서 이용되나, Torch Tensor는 무거운 행렬연산에 최적화되어 GPU 사용을 지원 * Torch Tensor는 Tensor 생성시 추가 Parameter로 device_type과
Transformer를 위한 Custom Dataset 만들기
Background * Transformer에서 제공하는 Pipeline을 이용해서 Sentiment Classifier를 하는데 기존 Dataframe을 그대로 이용하려니 GPU를 활용하더라도 상당히 느려서 Efficiency를 높이기 위해서 Dataset으로 변환을 하기로 결정하였다. Usage
Gensim 기본 LDA 대신, Mallet LDA 사용시 몇가지 이슈 대처법
1.pyLDAvis 사용하려고 할 때 Inference 에러 발생시 다음과 작성했는데, 다음과 같은 에러가 발생할 경우가 있다. pyLDAvis.enable_notebook() vis = pyLDAvis.gensim.prepare(mallet_
[책]OKR로 빠르게 성장하기
스타트업은 보통 PMF(Product Market Fit)이라든가, 주로 생존에 관련된 부분에 초점을 맞춰 성장하고 시장에 성공적으로 안착해오지만, 어느정도 성장 궤도에 오르게 되면 문화나 성과관리가
Ghost Update Log
Disclaimer: 해당 내용은 개인적으로 운영중인 Ghost Docker 기반 서비스에서 업데이트를 하는 것을 배경으로 하고 있기 때문에 새로 설치하는 경우는 조금 바꿔서 할 필요가 있다.
일 잘하는 사람이 잘하는 두가지: Escalation, Delegation
신입사원 시절, 질문 하나를 무심코 선배에게 했다가 본사로 호출을 당한 적이 있다. 질문이 마치 고객이 하는 것 마냥, 구체적이지 않고 질문을 하는 나의 말투에서
합성 데이터(Synthetic Data)에 대해서
합성 데이터 * AI 알고리즘을 활용해 인위적으로 생성한 데이터 * 데이터 사용과 고객 정보 보호 규제를 위반하지 않고, AI를 개발할 수 있음 생성 방법 * Stochastic process
도어대시(Doordash) 데이터팀이 말하는 다른 팀과 "잘" 대화하기 위한 팁
Intro 데이터 팀이 아무리 좋은 분석을 하더라도 비즈니스 팀과 경영진과 공유되지 않으면데이터 팀의 성공은 보장할 수가 없다. 그래서 효과적인 커뮤니케이션은 데이터 팀이 성공하기 위한
멀티버스는 이해하려고 해도 확률분포는 이해하려고 하지 않는다.
얼마전에 닥터스트레인지: 대혼돈의 멀티버스가 개봉하였다. 앤드게임 이후 마블은 어떻게 스토리를 끌고갈지 궁금하였는데, 스파이더맨을 기점으로 멀티버스라는 개념을 도입하면서 새롭게 스토리를 창조하고 연결해내기 시작하였다. 아직은 앤드게임