HyperLogLog - 대량 데이터 분석시 유용한 확률적 자료구조

목적

퍼널 분석을 하기 위해 로그 데이터에 직접 접근을 하고자 할 때가 있다. 하지만 보통 로그 데이터의 사이즈는 매우 커서 조회 작업 자체가 어려운 경우가 있다. 이로 인해서 액션(서비스 기능 개선 또는 마케팅)에 대한 의사결정 자체를 하기가 어려운 경우가 많다. 그리고 어떻게든 데이터를 잘게 쪼개서 데이터를 분석했다 해도, 그 데이터의 샘플링 사이즈가 너무 작아(분, 시간 단위) 일단위의 의사결정을 진행하기에는 한계가 있을 때도 있다.

이럴 때 우리는 HyperLogLog를 이용해 대략적인 수치를 추정해봄으로써 의사결정을 위한 데이터 분석을 진행할 수 있다.

HyperLogLog는 매우 적은 메모리로 집합의 원소 개수를 추정할 수 있는 방법입니다. 집합의 원소 개수를 정확하게 계산하기 위해 아주 많은 메모리가 필요할 때나 하나의 메모리에 모두 담을 수 없을 정도로 원소의 개수가 많을 때, 정확하지 않지만 최대한 정확한 값을 상대적으로 적은 메모리만 사용해 얻고 싶을 때 사용할 수 있는 방법입니다. (출처: 네이버 D2 )

특징

  • 적은 메모리를 차지하는 자료구조
  • 이 자료 구조로부터 유일한 원소의 수를 추정할 수 있다(원소가 담긴 집합의 크기 근사값 = cardinality)
  • 많은 HyperLogLog 구현에서 merge 연산을 지원한다(합집합)
  • Hash를 사용하는 방식이기 때문에 추정치에는 오차가 있을 수 있으며, 자료구조의 크기를 조정하여 오차 범위를 조정할 수 있다.
  • 스트림 데이터에서의 유일 원소 수 추정에 사용되는 경우가 많음

활용 방식 예(presto)

예) 매달 활동 유저에 대한 HyperLogLog를 만들어둔다

2019년 1월과 2019년 2월에 한 번이라도 서비스에 들어온 유저의 유니크한 수를 추정하기

  • 1월과 2월의 HyperLogLog를 merge한 뒤 merge된 HyperLogLog에서 cardinality를 측정한다

2019년 1월과 2019년 2월, 두 달에 모두 서비스에 들어온 유저의 유니크한 수 추정하기

  • (1월 HyperLogLog의 cardinality) + (2월 HyperLogLog의 cardinality) – (merge된 HyperLogLog의 cardinality)

2019년 1월부터 6월까지의 유입 유저 유니크 수 추정하기

  • 1월부터 6월까지의 HyperLogLog를 모두 merge한 뒤 cardinality 측정

참고자료

Read more

[책]Reshuffle: Who wins when AI restacks the knowledge economy

[책]Reshuffle: Who wins when AI restacks the knowledge economy

원래는 Amazon에 가서 Personal Knowledge Managment에 관한 책을 사려고 했다. Sketch Your Mind라는 책이었는데, 그 때 이 책 “Reshuffle”을 발견하였다. AI가 어떻게 Knowledge Economy를 흔들 것가? 라는 부제를 훑어보면서 저자가 쓴 다른 책을 보게 되었는데 거기에 내가 좋아했던 책을쓴 저자라는 것을 알게 되었다. 그래서 크게 고민하지 않고 구매를 하고

By Bongho, Lee
[책]올라운드투자, 누군가의 투자일기

[책]올라운드투자, 누군가의 투자일기

“올라운드 투자”라는 제목을 보았을 때는, “올라운드 플레이어”가 생각이 났다. “올라운드”라는 표현을 오랜만에 들어본 까닭이었다. 그럼에도 불구하고 이 책을 고른 것은 저자가 그간 보여준 컨텐츠에 대한 신뢰가 있던 까닭이었다. 컨텐츠를 다양하게 보는 편이지만 깊이가 아주 있지는 않았다. 여기서 깊이라 함은 기존 전문적인 정량적 분석의 내용의 수준을 말하는 것이다.

By Bongho, Lee
내가 놓치고 있던 미래, 먼저 온 미래를 읽고

내가 놓치고 있던 미래, 먼저 온 미래를 읽고

장강명 작가의 책은, 유학시절 읽고 처음이었다. 유학시절 "한국이 싫어서"라는 책은 동기부여가 상당히 되는 책이었다. 한국을 떠나 새로운 정채성을 학생으로서 Build up 해나가고 있던 상황에서 이 책은 제목부터 꽤 솔깃하였다. 물론 결말이 기억날 정도로 인상깊은 책은 아니었지만 말이다. 그렇게 시간이 흘러 장강명 작가의 책은 더 이상 읽지 않던

By Bongho, Lee