How to Measure Anything 프레임워크 정리.

프로젝트 준비

초기연구, 인터뷰, 문헌조사,이전 연구 결과 등 을 살펴봐서 분석가의 문제에 대한 이해를 돕습니다.그리고 예측값을 줄 수 있는 4-5명의 전문가를 확보합니다. 마지막으로 확보한 전문가들과 반나절 정도 소요되는 워크샵을 함께 계획합니다.

의사결정 모델링

첫 번째 워크샵에서, 전문가들은 분석하고자 하는 구체적인 문제를 정의합니다. 예를 들어, 이 단계에서 특정 투자를 지속할 것인지 결정하는 게 문제인지, 아니면 어떻게 그 투자를 수정할 수 있을지가 문제인지 구체적으로 결정합니다.

만약 의사 결정이 투자나 프로젝트, 공약, 혹은 다른 기획에 대한 것이라면, 우리는 의사 결정자와 회의를 해서 조직의 투자에 대한 경계값을 만들어야 합니다.

두 번째 워크샵부터는, 엑셀 스프레드시트를 사용하여 분석하고자 하는 의사 결정과 연관된 모든 요소들을 나열하고 이들을 어떻게 한꺼번에 고려할 수 있을지 보여줍니다.

만약 의사 결정이 특정 주요 프로젝트의 진행을 수락할지 결정하기 위한 것이라면, 모든 가능한 이익과 비용들에 대한 목록을 만들고, 이들을 현금 흐름으로 종합한 다음에 간단한 사업 사례에서처럼 투자손익(R이)를 계산합니다.

초기 보정된 예측. 이후 워크샵에서는 전문가들의 예측을 보정하고 의사 결정 모델을 위한 변수들에 대한 예측값을 채워 나갑니다. 이들 값들은 (정확하게 그 값을 알고 있지 않다면) 고정값이 아닌 보정된 전문가들이 예측에 의한 90% 신뢰 구간이나 다른 확률 분포로 표시됩니다.

측정 최적화

정보 가치 분석을 진행해서 모델에 있는 모든 변수들에 대해 정보 가치를 계산합니다. 이 과정을 통해 의사 결정에 있어서 모든 불확실한 변수들의 한계값과 정보 가치를 알게 될 것입니다.

정보 가치 분석을 통해서, 대부분의 변수들이 충분한 확실성을 이미 가지고 있기 때문에 초기 예측값보다 더 정확한 값을 구하기 위한 추가 측정이 필요하지 않다는 것을 알게 될 것입니다. 오직 몇 가지 변수만이 높은 정보 가치를 가집니다.

이 정보를 바탕으로, 우리는 완전 정보 기대값(Expected Vahje of Perfect Information; EVP1)보다 훨씬 적은 비용을 사용해서 불확실성을 줄일 수 있는 측정 방법을 선택합니다. 정보 가치 분석은 또한 의사 결정 결과에 차이를 만들어낼 수 있는 측정의 기준치를 알려줍니다. 측정은 그 관련된 기준치에 대해 불확실성을 줄이는 데 집중합니다.

측정에서부터 알게 된 사실들을 사용해서 의사 결정 모델의 값들을 변경합니다. 분해해서 분석한 변수들의 경우 별도로 표기됩니다. (예를 들어 불확실한 비용 요소는 더 작은 요소들로 나누어질 수 있으며, 각각의 작은 요소들은 90% 신뢰 구간으로 그 예측값이 표시되어야 합니다.)

정보가치 분석과 측정은 한 번 이상 반복할 필요가 있을 것입니다. 정보 가치가 측정보다 훨씬 큰 유의미한 가치를 가지는 한, 측정은 계속됩니다. 하지만 보통 한 두 번의 반복을 하고 나면 정보 가치 분석에서 더 이상 경제적으로 타당한 측정은 없게 될 가능성이 높습니다.

의사 결정 최적화 및 최종 보고

완전한 위험/수익 분석. 최종 몬테 카를로 시뮬레이션을 통해 가능한 결과의 확률을 보여줍니다. 만약 의사 결정이 주요 투자, 프로젝트, 공약, 혹은 다른 기획에 대한 것이라면 (보통 이들 가운데 하나일 것입니다), 조직의 투자 경계 범위 안에서 위험과 수익을 계산합니다.

경제적으로 측정을 정당화할 수 없는 변수들이 있습니다. 보통 사업 및 경제의 외부 요인에 관련된 경우가 많습니다. 이러한 변수들은 계속 측정할 수 있는 절차를 만듦으로써 의사 결정이 잘못된 방향으로 가는 것을 막도록 합니다.

실제 의사 결정이 단순히 “찬성/반대”로 간단한 경우가 그리 많지 않습니다. 실제 그런 단답형 결정을 내릴 수 있는 경우에도, 여러 가지 방법을 통해 최종 결정을 향상시킬 수 있습니다. 이제 구체적인 위험/수익 모델이 개발되었고, 위험을 피할 수 있는 전략도 고려될 수 있으며, 투자 자체도 조건 가정 분석을 이용해 수익을 좀 더 증가시키는 방향으로 변경될 수 있습니다.

최종보고는의사 결정 모델에 대한 개요, 정보 가치 분석결과,그리고 사용한 측정, 투자 경계 상의 위치, 미래를 위한 지표 혹은 분석, 이어지는 의사 결정 등을 담을 수 있습니다.