Uber Eats의 배달예상시간(ETA) 후보정 모델 DeepETANet 정리

Excerpt

  • Abstrct

    • Commonly used route planning algorithms predict an ETA conditioned on the best available route, but such ETA estimates can be unreliable when the actual route taken is not known in advance. In this paper, we describe an ETA post-processing system in which a deep residual ETA network (DeeprETA) refines naive ETAs produced by a route planning algorithm.
  • Contribution

    • ETA Post-processing: Our problem formulation, described in section 3, which treats programmatic ETAs from a route planner as noisy estimates of true arrival times, is unique in the travel-time estimation literature.
    • DeeprETANet Architecture: A deep learning architecture for ETA post-processing, described in section 4, that im- proves ETA accuracy compared to strong regression base- lines while adding minimal incremental serving latency.
    • Multi-resolution Geospatial Embeddings. A scheme for embedding geospatial location information using multiple independent hash functions for each spatial resolution,
  • Objective

    • DeeprETA post-processing system aims at predicting the ATA by estimating a residual that added on top of the routing engine ETA
  • Architecture

    • In DeeprETANet we learn the feature interactions via the linear self-attention, which is a sequence-to-sequence operation that takes in a sequence of vectors and produces a re-weighted sequence of vectors.
    • The DeeprETANet is a wide and shallow network with only two layers besides of the embedding layer. The first layer is a linear transformer layer and the second layer is a fully connected layer with calibration. The first linear transformer layer aims to learn the interaction of geospatial and temporal embeddings. The second calibration layer aims to adjust bias from various request types.
    • Loss Function
      • While for evaluating delivery ETA requests, not only the mean absolute ETA error, but also the 95th quantile is important. Extreme ETA errors will result in bad user experiences. Therefore, to meet di- verse business goals, DeeprETA uses a customized loss function, asymmetric Huber loss , which is robust to outliers and can balance a range of commonly used point estimates metrics

Thoughts

  • Organization구조가 실험환경으로 크게 작용하였다. 배차조직과, 시간예측 조직이 긴밀하게 붙어 있었던 것같다. 물론 그렇지 않아도 상관없지만 실험환경상 고려할 필요는 있었다.
  • Doordash와 달리 Ride Hailing 서비스도 제공하고 있기 때문에, 이 부분을 고려할 필요는 있다.
  • Linear Attention을 이용해서 Feature간 Interaction을 고려하였다. Intraction 및 성능을 동시에 고려한 부분이었다,
  • Loss Function은 Doordash도 그렇고 Long Tail을 고려하였다.

Link

-DeeprETA: An ETA Post-processing System at Scale

Read more

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

Pandera: 데이터프레임 검증에 최적화된 도구 주요 장점 * Pandas와 통합: Pandas 데이터프레임에 대해 스키마 기반 검증을 수행합니다. * 유연한 검증 조건: 열 데이터 타입, 값 범위, Null 여부 등 다양한 검증 조건을 정의할 수 있습니다. * 명확한 오류 메시지: 스키마 불일치에 대한 명확한 오류 메시지를 제공합니다. 단점 * 대용량 데이터 검증에서는 속도가 느릴 수

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression * Tobit 회귀(Tobit Regression)는 종속 변수가 특정 값에서 절단(Censored)된 상황에서 데이터를 분석하기 위해 사용되는 통계 기법입니다. * James Tobin이 처음 제안한 이 모델은 경제학과 사회과학 분야에서 자주 사용되며, 일반 선형 회귀로는 설명할 수 없는 상황에서 효과적으로 적용할 수 있습니다. Tobit Regression 수식 1. 관측된 종속 변수