[Python]Top2Vec 각 Document 별 Topic 찾기

배경

  • Top2Vec으로 토픽 모델링 이후 각 Document 별 해당되는 토픽을 알고자 할 때

해결책

  • Top2Vec의 Github 코드를 확인해보니, Single Underscore Function으로 있는 _calculate_documents_topic의 Return Value로 doc_top, doc_dist를 갖는데, doc_top은 각각 Document 별 Topic에 대한 List이다. 그리고 doc_dist는 Topic Vector와의 Distance 값이다.
  • "model.search_documents_by_topic(0, num_docs=1)" 형태로 Topic 0에 해당하는 Document 1개를 가지고 오라고 할 때 doc_top,doc_dist를 통해 가지고 온다.
  • 아직 모델이 개발중이라서 그런 것인지, 해당 변수에 대해서 model.doc_top, model.doc_list 형태로 바로 접근이 가능하다.
import numpy as np
import pandas as pd
from top2vec import Top2Vec
from sklearn.datasets import fetch_20newsgroups

np.random.seed(0)

# Data Loading
newsgroups = fetch_20newsgroups(subset='all', remove=('headers', 'footers', 'quotes'))

# Modeling 
model = Top2Vec(newsgroups.data, workers=4, embedding_model='universal-sentence-encoder')

model.search_documents_by_topic(0, num_docs=1)

위에까지 실행하고 나면 아래와 같은 결과를 볼 수 있다.

#(array(['Well, the Patrick Division got a little more interesting last night. ...dtype=object), array([0.7826741], dtype=float32), array([17864]))

위 내용은 17864번 인덱스 Document가 Topic Vector로부터 가장 가까이 있고 거리 값은 0.7826741이라는 것이다. 위 Document는  model.doc_top[17684], model.doc_list[17684]에서 확인할 수 있다.

Topic Vector은 다음과 같이 동일한 Cluster를 가지고 있는 Document Vector의 평균 값을 이용해서 생성하는 듯하다.(자세히 보지는 않았음)

self.topic_vectors = self._l2_normalize(
            np.vstack([self.document_vectors[np.where(cluster_labels == label)[0]]
                      .mean(axis=0) for label in unique_labels]))

Read more

[책]Reshuffle: Who wins when AI restacks the knowledge economy

[책]Reshuffle: Who wins when AI restacks the knowledge economy

원래는 Amazon에 가서 Personal Knowledge Managment에 관한 책을 사려고 했다. Sketch Your Mind라는 책이었는데, 그 때 이 책 “Reshuffle”을 발견하였다. AI가 어떻게 Knowledge Economy를 흔들 것가? 라는 부제를 훑어보면서 저자가 쓴 다른 책을 보게 되었는데 거기에 내가 좋아했던 책을쓴 저자라는 것을 알게 되었다. 그래서 크게 고민하지 않고 구매를 하고

By Bongho, Lee
[책]올라운드투자, 누군가의 투자일기

[책]올라운드투자, 누군가의 투자일기

“올라운드 투자”라는 제목을 보았을 때는, “올라운드 플레이어”가 생각이 났다. “올라운드”라는 표현을 오랜만에 들어본 까닭이었다. 그럼에도 불구하고 이 책을 고른 것은 저자가 그간 보여준 컨텐츠에 대한 신뢰가 있던 까닭이었다. 컨텐츠를 다양하게 보는 편이지만 깊이가 아주 있지는 않았다. 여기서 깊이라 함은 기존 전문적인 정량적 분석의 내용의 수준을 말하는 것이다.

By Bongho, Lee
내가 놓치고 있던 미래, 먼저 온 미래를 읽고

내가 놓치고 있던 미래, 먼저 온 미래를 읽고

장강명 작가의 책은, 유학시절 읽고 처음이었다. 유학시절 "한국이 싫어서"라는 책은 동기부여가 상당히 되는 책이었다. 한국을 떠나 새로운 정채성을 학생으로서 Build up 해나가고 있던 상황에서 이 책은 제목부터 꽤 솔깃하였다. 물론 결말이 기억날 정도로 인상깊은 책은 아니었지만 말이다. 그렇게 시간이 흘러 장강명 작가의 책은 더 이상 읽지 않던

By Bongho, Lee