Summary

• Delivery Time Prediction은 Regression 문제이기도 하지만 Result가 분단위 정도로 나눠진다고 하면 Classification 문제로 간주할 수도 있다.
• 비즈니스 관련 Cost Sensitive Rule을 고려하기 위해서 Regression Tree를 사용하되, 성능을 끌어올리기 위해 Random Forest를 고려했고, 예측값이 정규분포가 아닐 가능성을 고려하여 Quantile로 나눠서 예측, 최종 모델은 Quantile Random Forest (for Regression)을 하였다.
• 이 때 구간으로 전달하기 위해서 각 Partition, 즉 Tree상의 같은 노드에 속해져 있는 Result 집합별로 Kernel Method를 써서 구간의 상한, 하한 값을 계산하였음
• 배달시간은 아닌 배송시간이지만, 재미나게도 이 모델에서도 Asymmetric loss function을 차용하였다. 확실히 정규분포 형태의 예측값이 아니고, 비즈니스 관점에서도 배송이 빨리 가서 문제보다는 늦게 가서 문제가 더 크기 때문에 Asymmetric Loss Function을 도입하였다.
• 앞서 Classification 문제로 바라보는게 유용했던 이유는 Tree로 모델을 만들고 Cost에 중점을 둔 Rule로 구성되게 모델을 디자인하였기 때문에 Sensitivity와 Specificity를 감안한 ROC(Received operating characteristics) 분석을 통해서 Optimal Threshold를 잡아내고 이를 관리했다는 점은 인상깊었다.
• 배달이 아니라 배송이지만, Loss Function과 Classification Problem으로 문제를 바라보는 것은 꽤 좋은 포인트였으

References

• Real-Time Delivery Time Forecasting and Promising in Online Retailing: When Will Your Package Arrive?