[책] How to Measure Anything, 측정을 재 정의하다.

제목만 보면 참 사기같은 책이다. 누가 보기에도 세상에는 측정하기 어려운 것이 많은데 말이다. 당장 생각해보아도 생산성, 보안, 분석 능력은 측정하기 어려워 보인다.

하지만 측정의 정의를 살짝 비틀어보면 앞서 언급한 것들을 포함하여 생각보다 많은 측정할 수 있게 된다. 기존에 우리는 측정을 “정확한 값을 계산하는 것”, “하나의 숫자로 줄이는 것” 등이라고 정의하곤 하였다.

하지만 곰곰이 생각해보면 사실 우리가 완벽하게 측정할 수 있다고 생각하는 “cm”  역시 애당초 세상에 존재하지 않았던 값이었다. 다시 말해서, 그저 반복해서 계산해도 일관성 있게 수치가 나오도록 합의된 추정값이었다.

저자는 측정의 정의를 다음과 같이 재정의하고 이 책을 시작하였다.

측정: 하나 이상의 관찰을 통해 정량적으로 표현된 불확실성의 감소

순간  “설문 조사시 많이 사용되는 측정단위인 “리커트 스케일(Likert scale)이 떠올랐다. 리커트 스케일은 심리검사 문항에 대한 피설문자의 동의의 정도에 대한 불확실성을 감소시키는 하나의 추정값이기 때문이다.

저자는 위에 언급한 측정의 정의를 바탕으로 다음과 같은 절차를 통해서 이전에는 하지 못하였던 것들에 대해서 분석할 수 있다고 말한다.

1. 측정이 필요한 문제가 중요하다면, 우리는 그 문제가 왜 중요한지 정의할 수 있고, 나아가 이를 관찰할 수 있는 방법을 가지고 있다.

(예) 보안이 중요하다면 보안을 적정수준으로 관리하지 않을 때 나오는 이슈들을 열거할 수 있고 관찰할 수 있다.

2.  해당 문제가 불확실성을 가지고 있다면, 이 문제에 대한 리스크가 발생할 가능성과 리스크에 대해 지불할 비용을 추정할 수 있다.

3. 리스크가 발생할 가능성에 대해서 확률을 보다 정교하게 보정한다.

4. 측정을 통해 알게될 정보의 가치가 의사결정의 가치보다 중요한지 비교한다.

5. 측정할 방법을 체계화하고 필요한 추가 정보를 수집한다.

중간중간 위 과정을 소개하기 위해서 몬테카를로 시뮬레이션부터 베이지안 통계까지 다양한 공식이 나오지만 저자는 수학적인 부분을 최소화하면서 위 내용을 소개한다. 나중에 알았지만 이러한 내용은 주로 “정보경제학”에서 다뤄지는 부분이라고 한다.

우리는 근래 다양한 종류의 데이터를 측정할 수 있는 힘을 바탕으로 정말 많은 데이터를 만지고 있다.  하지만 퍼널 단계에서 고객과 더 많은 상호작용(Interaction)을 위해서는 여전히 데이터가 부족하다는 이야기가 꾸준히 나온다.

그런데 하지만 이 책을 읽고 난 후 우리가 정말 데이터가 없는 걸까? 기존 데이터로도 충분히 의사결정의 지평을 바꿀 수 있는 부분이 있고, 앞으로 데이터가 추가로 나온다 한들 측정을 진행하는 비용 대비 정보의 가치는 빈약할 수도 있지 않을까? 라는 생각을 다시금 한 번 해보게 되었다.

그리고 저자가 소개한 방식 역시 기능 단위의 조직구조에서는 의사결정 및 협의 비용이 비약적으로 증가할 수 있으므로 목적 형식의 조직구조에서만 잘 작동할 수 있지 않을까 하는 생각도 들었다.

그러한 고민에도 불구하고 기존에는 고려하지 않았던 정보를 통해서 불확실성을 감소사키고 보다 나은 의사결정을 지원할 수 있다는 점은 충분히 가치가 있는 내용이었다. 하지만 저자가 내용을 쉽게 풀어썼다고 해도, 살짝 쉽게 페이지를 넘기기 어려운 부분이 있어서, 몇 번 더 읽어봐야 할 것 같은 책이었다.