Transformer를 위한 Custom Dataset 만들기
Background * Transformer에서 제공하는 Pipeline을 이용해서 Sentiment Classifier를 하는데 기존 Dataframe을 그대로 이용하려니 GPU를 활용하더라도 상당히 느려서 Efficiency를 높이기 위해서 Dataset으로 변환을 하기로 결정하였다. Usage
Tag
Data
Gensim 기본 LDA 대신, Mallet LDA 사용시 몇가지 이슈 대처법
1.pyLDAvis 사용하려고 할 때 Inference 에러 발생시 다음과 작성했는데, 다음과 같은 에러가 발생할 경우가 있다. pyLDAvis.enable_notebook() vis = pyLDAvis.gensim.prepare(mallet_
합성 데이터(Synthetic Data)에 대해서
합성 데이터 * AI 알고리즘을 활용해 인위적으로 생성한 데이터 * 데이터 사용과 고객 정보 보호 규제를 위반하지 않고, AI를 개발할 수 있음 생성 방법 * Stochastic process
도어대시(Doordash) 데이터팀이 말하는 다른 팀과 "잘" 대화하기 위한 팁
Intro 데이터 팀이 아무리 좋은 분석을 하더라도 비즈니스 팀과 경영진과 공유되지 않으면데이터 팀의 성공은 보장할 수가 없다. 그래서 효과적인 커뮤니케이션은 데이터 팀이 성공하기 위한
[Python] Neural Prophet
* NeuralProphet은 쉽게 이야기 하면 Neural Network(AR-Net)과 Prophet의 결합이다. * \(\hat{y_t}\)는 Trend, Seasonality, Event & Holiday, Regression for known future
[Python]Top2Vec 각 Document 별 Topic 찾기
배경 * Top2Vec으로 토픽 모델링 이후 각 Document 별 해당되는 토픽을 알고자 할 때 해결책 * Top2Vec의 Github 코드를 확인해보니, Single Underscore Function으로 있는 _calculate_documents_
Anchors - High Precision Model-Agnostic Explanations
* Anchor는 쉽게 생각하면 Blackbox 모델의 특정 Instance에 대한 설명을 If-Then 형태의 Rule 형태로 설명한다고 보면 된다. * Anchors는 기존 Blackbox Model을 최대한 적게 호출하기
[풀잎스쿨]LIME(Local Interpretable Model-agnostic Explanations)
풀잎스쿨 - LIME 발표자료(설명가능한 인공지능 기획!) from Bong-Ho Lee
5년간의 블로그 글이 모두 날아가버렸다.
오늘도습관처럼 개인블로그를 접속하였다. 그리고 블로그가 초기화된 것을 확인했다. 원인은 찾았지만, 다행스럽게 이미 백업스크립트를 운용중이었던지라, 최근 7일간 백업 데이터를 다운로드 받아서 복구를 진행하려고 하였다.
LSA(Latent Semantic Analysis)
목적 LSA는 특이값 분해를 이용해서 문서 내에, 잠재되어 있는 의미(예: 토픽 등)를 파악한다. 특징 * 다른 문서의 유사도, 다른 단어의 유사도, 단어(쿼리)
[Python] Top2Vec WordCloud 한글 깨짐 해결하기(임시방편)
Top2Vec 내재 Function 중 하나인 generate_topic_wordcloud를 실행했는데 한글이 모두 깨져나온다. 출력물의 형태를 보니, 대략 Wordcloud 패키지를 쓰지 않았을까 생각되어 Top2Vec의 github를 보니
[Python]지하철 승하차인원 Open API로 가지고 오기
사업쪽 담당자가 Python으로 공부하다가, 종종 물어보러 온다. 오늘은 지하철 승하차인원을 엑셀로 안받고 직접 API로 가지고 오는 법 물어보길래 최소한으로 코드를 작성해주었다. Python Crawling은 익숙치