함께 데이터 프로덕트를 만들 때 성과는 어떻게 측정할 것인가?

데이터 프로덕트를 만들 때는 보통 두가지 경우가 있다. 하나는 주도적으로 프로덕트를 구성하는 경우, 그리고 다른 하나는 외부 요청에 의해 프로덕트를 구성할 때가 있다. 전자의 대표적인 케이스는 추천시스템이다. 데이터가 가장 중요하고 데이터 없이는 운영이 불가능한 데이터 주도로 시스템을 구축하는 전형적인 케이스다. 이보다 더 오너십이 뚜렷한 데이터 프로덕트는 찾기 어렵다. 하지만 오늘 이야기하려는 것은 후자이다.

후자는 보통 외부 유관부서의 업무 목적을 가속화하거나 또는 AI를 통해 업무의 범주를 늘리는데 목적을 두고 있다. 업무 목적의 가속화는 쉽게 말하면 생산성 강화이다. 예를 들어, 테슬라의 경우 자율주행과 관련된 까다로운 문제가 등장하면 사람을 대규모로 고용해서 데이터셋을 강화한 이후 이를 모델로 대체하는 과정을 거친다. 가장 AI를 접목해서 비즈니스 성과를 내고자 할 때 쉬운 케이스이다. 이 때는 정말 팀리더의 영업력이 중요하다.

이렇게 다른 비 AI 전문부서와 논의할 때 보통 가장 먼저 나오는 이야기가 성과를 어떻게 측정할까이다. 데이터 조직을 맡으면서 숱하게 경험해보았던 주제 중 하나로 보통 다양한 이야기가 오고간다. 종종 이상한 메트릭을 가지고 오는 경우가 있다. 고객경험이라든가, 뭔가 멋있지만 최종적으로 정성적이어서 개선이 되었는 지 자체가 운빨인 경우들이 굉장히 많다.데이터 조직 입장에서는 황당할 것이다. RMSE와 같은 모델 관점의 지표도 아니고, 전후 비교가 불가능한 지표이기 때문이다. 이 때는 두가지 방식을 보통 활용하는 편이다.

첫 번째로, 데이터 프로덕트가 만들어지지 못하였을 때 또는 실패했을 때 가장 큰 리스크가 무엇인지 물어본다. 예를 들어 생산성 개선을 목적으로 하는 프로젝트가 잘 안되었을 때 가장 영향을 받는 것은 “생산성”이다. 생산성을 정의하기는 어렵지만 생산성개선에 실패했을 때 생각해보면 후속프로젝트 시작시점이나, 생산성을 개선하기 위해 추가 고용등을 상상해볼 수 있다. 그렇다면 생산성 대시 후속 프로젝트 시작시점이나, 추가 고용여부를 목표로 대체한다. 정량가능하고 직접적으로 연결되는 수치들이기 때문에 충분히 활용할 수 있다.

두 번째로, 반복하여 관찰이 가능한 지를 파악하고 이를 수치로 만들어낸다. 생산성의 경우 매일 매일 생산성의 결과물이 관찰가능할 것이다. 예를 들어 고객서비스와 관련되면 개별 상담 전화건수가 매일 관찰할 수 있는 대표적인 수치 중 하나이다. 관찰할 수 있고, 기록할 수 있다면 지표로 활용할 수 있을 것이다. 보통은 이런 형태로 지표를 새롭게 정의할 수 있도록 돕는 편이다.

그 외에도 여러가지 방법이 있지만, 요지는 데이터는 흐른다는 것이다. 회사의 어딘가 혈관처럼 흐르는 데이터 일부를 보는 상황이기 때문에 그 흐름을 잘 좇을 수 있다면, 이런 식으로 데이터의 장기적 활용 가능성을 생각할 수 있고, 어떻게든 목표를 수립할 수 있다. 그리고 사실 가장 중요한 것은 의지이다. 함께 작업하는 부서가 의지가 없다면 이런 생각조차 할 수 없기 때문이다.