[책]린 분석, 어떤 지표를 봐야 하는가?

한 줄평

서비스 지표를 처음 분석해야 하는 입장에서 무엇을 분석해야할지 잘 모르겠다면 이 책을 추천합니다.

서평

작년 하반기 서비스 지표를 관리하고 분석하는 업무를 맡게 되었다. 그리고 그 지표를 고도화하기 위해 노력하던 중에 어떤 지표를 추가적으로 봐야할지 고민하던 중에 이 책을 접하게 되었다.

정성적? & 정량적?

저자는 정성적인 관찰결과는 현상에 대한 이유(Why)를 파악하는데 도움이 되고, 이에 대해 영향도(How many)를 파악하는데는 정량적인 데이터가 필요하다고 언급하면서 두 형태 모두 현상을 파악하는데 필요하다고 말한다. 그래서인지 데이터 분석의 결과가 “생각한 것 그대로 나왔다”고 말하는 경우가 꽤 빈번한데 이는 너무나도 당연하다고 생각한다.

결구 중요한 것은 그렇게 파악된 정량적인 흐름을 지표로 구축해서 관리하는 것이다. 아비나시 카우쉭 (Avinash Kaushik, 구글 디지털 마케팅 에반젤리스트)는 정성적/정량적 관찰 결과를 지표로 활용할 수 있도록 가이드를 제시하고 있다. 적절히 저 네 단계를 구분하면서 데이터의 활용을 극대화하지 않으면 보고 및 관리 차원에서 잡음이 발생할 수 있다.

안다는 것을 안다사실(Fact) * 틀릴 수 있기 때문에 데이터와 대조하면서 확인
모른다는 것을 안다보고(Reporting) * 기준을 정하고 자동화 (지표를 모르기 때문에 보고를 통해 지표를 구한다)
안다는 것을 모른다직관(Intuition) * 정량화 해야하고 유효성과 효율성을 향상시킬 방법을 알아야 함
모른다는 것을 모른다탐색(Exploratory) * 경쟁우위에 올라설 수 있고 흥미로운 깨달음을 얻을 수 있다

지표간의 상관관계

Dave McClure(데이브 맥클루어)가 제시한 스타트업 메트릭스도 그렇지만 모든 지표는 상관관계를 가지고 있다. 그리고 지표간의 상관관계를 명확하게 파악하기 위해서는 고객이 서비스를 어떻게 이용하고 있는지 Flow를 고민해야 한다. 이 때 Flow는 단순 서비스의 1회성 사용 패턴을 넘어서 Lock-in이 되는 상황, 그리고 이탈이 되는 과정도 Flow에 포함을 해야 한다. 즉 고객관점의 Life Cycle을 그려야 하는 것이다. Flow를 파악하는 과정에서 고객이 맞닿뜨리는 허들 및 선행/후행지 역시 반드시 중점적으로 파악해야 한다.

물론 지표가 너무 많으면 잡음으로부터 신호를 걸러내기 어렵기 떄문에 초기 기업의 경우 OMTM(The One Metric That Matters)을 세우는 것을 저자는 권장한다. 하지만 사업이 어느정도 궤도에 올라와서 확장의 시기에 있을 경우 확장의 가능성을 엿볼 수 있는 추가 지표를 관리 및 분석할 필요가 있다. 이 부분이야 말로 초기 스타트업 때와 “공감, 흡인력, 바이럴, 매출,확장” 사이클을 타면서 린분석을 활용할 준비가 되있어야 하는 단계이다. 이 시점에 “컨테이져스”란 책을 같이 보면 도움이 될 듯하다. 공감 – 바이럴까지의 구체적인 공식을 알려주는 책으로는 적격이니 말이다.

결론

지표는 어디까지 탁상공론일 수 있다. 그럼에도 지표는 빠른 의사결정을 위해서 기업이 잘 운영되고 있는 지 보기 위한 내부 관리차원에서 필요한 데이터이다. 이러한 지표 관리 및 분석을 스타트업에서 어떻게 운용할 수 있을지에 대해서 다양한 비즈니스 모델과 사례를 통해서 정리했다는 점에서 이 책은 읽을만한 가치가 있다고 본다. 특히 지금 일하고 있는 기업이 허상지표와 같이 큰 숫자에 홀려서 가는 스타트업에게는 더더욱 그러하다.

Read more

다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.

다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.

다중공선성(Multi Collinearity) * **Multi-Collinearity(다중공선성)**는 독립 변수들 간의 강한 상관관계가 존재할 때 발생합니다. 즉, 한 독립 변수가 다른 독립 변수에 의해 설명될 수 있을 정도로 상관관계가 높은 상황을 의미합니다. * 이 문제는 주로 회귀 분석에서 나타나며, 변수들 간의 관계를 해석하는 데 있어 큰 장애물이 될 수 있습니다. * 일반적인 회귀식을 $Y=

Bayesian P-Value는 불확실성을 감안하여 모델의 적합도를 평가합니다.

Bayesian P-Value는 불확실성을 감안하여 모델의 적합도를 평가합니다.

Bayesian P- Value * Bayesian P-Value는 **모델의 적합도(goodness-of-fit)**를 평가하는 데 사용됩니다. * 사후 분포(posterior distribution)를 이용하여 실제 데이터와 모델이 생성한 예상 데이터를 비교함으로써, 관측된 데이터가 모델에 의해 얼마나 잘 설명되는지를 평가합니다. * 빈도주의 p-값은 "관찰된 데이터보다 극단적인 데이터가 나올 확률"을 계산하지만, Bayesian P-Value는 "모델이 실제

Non-Identifiability는 Model Parameter를 고유하게 식별할 수 없는 현상입니다.

Non-Identifiability는 Model Parameter를 고유하게 식별할 수 없는 현상입니다.

Non Identifiability * Non-Identifiability는 주어진 데이터와 모델에 대해 특정 파라미터를 고유하게 식별할 수 없는 상황을 의미합니다. 즉, 여러 파라미터 값들이 동일한 데이터를 생성할 수 있으며, 이로 인해 특정 파라미터 값을 확정적으로 추정하기 어렵게 됩니다. * 베이지안 추론에서 Non-Identifiability는 사후 분포가 특정 파라미터 값에 대해 명확하게 수렴하지 않고, 여러 값들에 대해 비슷한 확률을

Rootgram은 큰 분산을 갖거나 비정규 형태의 데이터를 위한 히스토그램입니다.

Rootgram은 큰 분산을 갖거나 비정규 형태의 데이터를 위한 히스토그램입니다.

Rootgram * 히스토그램의 변형으로 데이터가 비정규적이거나 큰 분산을 가지는 경우, 정확한 분포를 파악하기 위해 사용됩니다. * 일반적으로 히스토그램은 데이터의 빈도를 직접적으로 나타내기 때문에, 큰 값이 빈번하게 발생하는 경우 상대적으로 작은 값을 잘 드러내지 못하는 경향이 있습니다. 반면, Rootgram은 빈도를 제곱근 형태로 변환하여, 데이터 분포의 차이를 더 잘 시각화할 수 있도록 돕습니다 * 여기서