[Thesis]Difference in Differences in Marketing Performance Measurement

생각보다 많은 사람들이 Business Analyst는 R 또는 Python을 활용한 화려한 모델링기법과 이를 통한 Metric의 향상을 꾀하는 사람이라고 생각한다. 하지만 생각보다 많은 업무가 인과관계에 대한 답변으로 구성되어 있다. 가령 다음과 같은 질문이 그렇다.

“저 프로모션으로 매출이 얼마나 늘었는가?”

“오늘 DAU가 왜 증가했지요?”

이러한 부분 덕에 자연스레 인과분석(Causal(Casual 아님) Inference)에 관심을 기울기에 되었다. 그리고 오늘 본 논문은 많은 인과분석 기법 중에서도 DiD(Difference in Differences)에 기반한 마케팅 성과 측정 관련 논문이다. DID는 우리 말로 이중차분법이라고도 하는데 다른 방법 대비 쉬운 편이다. 그래서 현업 마케터에게 소개하기도 좋다.

이중차분법은 아래 도표 한장으로 설명이 가능하다. 가장 하단의 식을 보면 알 수 있겠지만 한 마디로 말하면 이중차분법은 차이의 차이를 이용하여 Treatment Effect를 분석하는 기법이다.

이 논문에서는 Control Group을 구하는 부분과 기존의 캠페인 효과 측정시 전 주 또는 전년동기와 비교하는 부분이 가장 중요한 부분이었다.

첫 번째로 Control Group을 구하기 위해서 통계적 모델링 기법인 단계선택법 기반 lasso Regression과 Random Forest를 사용하였다. 이를 통해서 Treatment Group이 Treatment(여기서는 광고) 이후의 변화가 발생하는 동안 Control Group은 어떻게 변화하는지를 예측한 후 이를 서로 비교하였다.

그리고 기존에 단순히 전 주 또는 전년 동기와 비교하는 방식이 어떠한 문제가 있는지를 이야기 했는데 날씨나 당시 시점의 프로모션, 또는 기타 외생변수로 인해서 비교하기 어려운 점은 이미 알고 있었지만 Carry over Effect에 대해서는 이번에 처음 접하게 되었다. Carryover Effect의 정의는 쉽게 말하면 Treatment, 즉 캠페인이 발생 후 한동안 지속되는 효과이다. 마케팅 캠페인에 접목해서 설명하면 마케팅 캠페인 후에 이로 인해 상승한 매출을 2주 또는 4주간 관찰했을 때 매년 동일한 캠페인을 진행한 이후 Carryover Effect의 수치는 동일하지 않았다.

해당 수치에 기반해서 이중차분법을 구사함으로써 논문은 프로모션에 대한 효과를 매출 관점으로 측정할 수 있다고 설명하였다. 물론 요즘 디지털 마케팅은 효과를 수치로 표현하는 것이 매우 당연하나 TV와 같은 전통적 광고는 정량적 측정이 어렵다는 것을 감안하면 이런 방법도 꽤 쓸만하지 않나 싶다.

참고

Site Footer

Sliding Sidebar