Data

LSA(Latent Semantic Analysis)

Bongho, Lee

Bongho, Lee

— 1 min read

목적

LSA는 특이값 분해를 이용해서 문서 내에, 잠재되어 있는 의미(예: 토픽 등)를 파악한다.

특징

  • 다른 문서의 유사도, 다른 단어의 유사도, 단어(쿼리)로부터 문서의 유사도를 구하는 것들이 가능해진다.
  • 특이값 분해는 \( A \)가 \(m \times n \) 행렬일 때  \( A=UΣV^\text{T} \) 과 같이 3개의 행렬의 곱으로 분해하는 것이다.
  • 이 때 Topic의 갯수에 따라서, Full SVD 대신 Truncated SVD를 사용하게 된다. 이 때 원 행렬 \(A\)로 복원은 불가하게 된다.
  • 우선 \( A \)는 Topic에 대한 Word의 Matrix롤 각 단어의 해당 Topic에 대한 기여도라고 볼 수 있다
  • 그리고 \(V^\text{T} \)(는 Topic을 위한 Document의 Matrix으로 각 Topic에 대한 Document의 기여도이다.
  • 마지막으로 \( Σ \)는 각각 U,V의 Orthogonal Vector의 정보량을 말한다. 따라서 Topic의 Strength를 보여준다.
  • LSA를 통해서 하나의 문서에서 특정 토픽과 해당 토픽에 해당되는 단어의 특이값(대각행렬 \(Σ\)의 값)을 파악할 수 있다.

Reference

Read more

ML 코드 작성시 유의사항

ML 코드 작성시 유의사항

유의사항 * 코드의 작성방식: 다른사람이 코드를 읽고 이해할 수 있는가? * 코드의 성능: 의도치 않은 부작용이 발생하는가? * 코드의 복잡성: 유스케이스에 비해 설계가 과도하고 부족한가 * 개선의 용이성: ML코드가 지속적으로 리팩토링 되는가? 코드 작성방식에 따른 개발자(+데이터과학자)의 유형 분류 출처 * 머신러닝 엔지니어링 인 액션
ELPD는 모델이 새로운 데이터를 얼마나 잘 예측하는지를 보여주는 지표입니다.

ELPD는 모델이 새로운 데이터를 얼마나 잘 예측하는지를 보여주는 지표입니다.

기본 개념 * ELPD(Expected Log Predictive Density)는 모델이 새로운 데이터를 얼마나 잘 예측하는지를 나타내는 지표로, 주어진 데이터 포인트에 대해 모델이 예측한 확률의 로그 값(로그확률)을 합산한 것입니다. $$\text{ELPD} = \sum_{i=1}^{n} \log p(y_i \mid \text{data})$$ * $n$: 데이터 포인트의 수 * $y_i$ : 실제 관측된
잭나이프 샘플링은 표본의 변동성 추정 방법중 하나입니다.

잭나이프 샘플링은 표본의 변동성 추정 방법중 하나입니다.

잭나이프 샘플링이란? * 잭나이프 샘플링은 표본 데이터에서 하나의 관측치를 제거한 여러 하위 샘플을 만들어, 이들 샘플에 대해 통계량을 계산한 후 그 결과를 바탕으로 전체 표본의 변동성을 추정하는 방법입니다. 잭 * 나이프는 주로 표본의 분산을 추정하거나 통계량의 편향을 줄이기 위해 사용됩니다. 예시 * 주어진 표본이 [x1, x2, x3, x4]라면, 잭나이프 샘플링은 다음과 같은
정확한 단위로 대화를 하는 것이 중요합니다.

정확한 단위로 대화를 하는 것이 중요합니다.

자전거를 타고 약속장소로 이동하는 중이었습니다. 근처 과일 가게에 이런 문구가 적혀있었습니다. "한 상자에 X,000원" 과일을 직접 사먹지는 않는 편이기 때문에 가격은 모르지만 꽤 매력적인 가격대였습니다. 그래서 잠시 "살까?" 망설였습니다. 하지만 이내 자전거를 타고 다시 가던 길을 갔습니다. 한 상자 안에 몇개가 들어가 있을지를 몰랐기 때문입니다.