Uber Eats의 배달예상시간(ETA) 후보정 모델 DeepETANet 정리

Excerpt

  • Abstrct

    • Commonly used route planning algorithms predict an ETA conditioned on the best available route, but such ETA estimates can be unreliable when the actual route taken is not known in advance. In this paper, we describe an ETA post-processing system in which a deep residual ETA network (DeeprETA) refines naive ETAs produced by a route planning algorithm.
  • Contribution

    • ETA Post-processing: Our problem formulation, described in section 3, which treats programmatic ETAs from a route planner as noisy estimates of true arrival times, is unique in the travel-time estimation literature.
    • DeeprETANet Architecture: A deep learning architecture for ETA post-processing, described in section 4, that im- proves ETA accuracy compared to strong regression base- lines while adding minimal incremental serving latency.
    • Multi-resolution Geospatial Embeddings. A scheme for embedding geospatial location information using multiple independent hash functions for each spatial resolution,
  • Objective

    • DeeprETA post-processing system aims at predicting the ATA by estimating a residual that added on top of the routing engine ETA
  • Architecture

    • In DeeprETANet we learn the feature interactions via the linear self-attention, which is a sequence-to-sequence operation that takes in a sequence of vectors and produces a re-weighted sequence of vectors.
    • The DeeprETANet is a wide and shallow network with only two layers besides of the embedding layer. The first layer is a linear transformer layer and the second layer is a fully connected layer with calibration. The first linear transformer layer aims to learn the interaction of geospatial and temporal embeddings. The second calibration layer aims to adjust bias from various request types.
    • Loss Function
      • While for evaluating delivery ETA requests, not only the mean absolute ETA error, but also the 95th quantile is important. Extreme ETA errors will result in bad user experiences. Therefore, to meet di- verse business goals, DeeprETA uses a customized loss function, asymmetric Huber loss , which is robust to outliers and can balance a range of commonly used point estimates metrics

Thoughts

  • Organization구조가 실험환경으로 크게 작용하였다. 배차조직과, 시간예측 조직이 긴밀하게 붙어 있었던 것같다. 물론 그렇지 않아도 상관없지만 실험환경상 고려할 필요는 있었다.
  • Doordash와 달리 Ride Hailing 서비스도 제공하고 있기 때문에, 이 부분을 고려할 필요는 있다.
  • Linear Attention을 이용해서 Feature간 Interaction을 고려하였다. Intraction 및 성능을 동시에 고려한 부분이었다,
  • Loss Function은 Doordash도 그렇고 Long Tail을 고려하였다.

Link

-DeeprETA: An ETA Post-processing System at Scale

Read more

다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.

다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.

다중공선성(Multi Collinearity) * **Multi-Collinearity(다중공선성)**는 독립 변수들 간의 강한 상관관계가 존재할 때 발생합니다. 즉, 한 독립 변수가 다른 독립 변수에 의해 설명될 수 있을 정도로 상관관계가 높은 상황을 의미합니다. * 이 문제는 주로 회귀 분석에서 나타나며, 변수들 간의 관계를 해석하는 데 있어 큰 장애물이 될 수 있습니다. * 일반적인 회귀식을 $Y=

Bayesian P-Value는 불확실성을 감안하여 모델의 적합도를 평가합니다.

Bayesian P-Value는 불확실성을 감안하여 모델의 적합도를 평가합니다.

Bayesian P- Value * Bayesian P-Value는 **모델의 적합도(goodness-of-fit)**를 평가하는 데 사용됩니다. * 사후 분포(posterior distribution)를 이용하여 실제 데이터와 모델이 생성한 예상 데이터를 비교함으로써, 관측된 데이터가 모델에 의해 얼마나 잘 설명되는지를 평가합니다. * 빈도주의 p-값은 "관찰된 데이터보다 극단적인 데이터가 나올 확률"을 계산하지만, Bayesian P-Value는 "모델이 실제

Non-Identifiability는 Model Parameter를 고유하게 식별할 수 없는 현상입니다.

Non-Identifiability는 Model Parameter를 고유하게 식별할 수 없는 현상입니다.

Non Identifiability * Non-Identifiability는 주어진 데이터와 모델에 대해 특정 파라미터를 고유하게 식별할 수 없는 상황을 의미합니다. 즉, 여러 파라미터 값들이 동일한 데이터를 생성할 수 있으며, 이로 인해 특정 파라미터 값을 확정적으로 추정하기 어렵게 됩니다. * 베이지안 추론에서 Non-Identifiability는 사후 분포가 특정 파라미터 값에 대해 명확하게 수렴하지 않고, 여러 값들에 대해 비슷한 확률을

Rootgram은 큰 분산을 갖거나 비정규 형태의 데이터를 위한 히스토그램입니다.

Rootgram은 큰 분산을 갖거나 비정규 형태의 데이터를 위한 히스토그램입니다.

Rootgram * 히스토그램의 변형으로 데이터가 비정규적이거나 큰 분산을 가지는 경우, 정확한 분포를 파악하기 위해 사용됩니다. * 일반적으로 히스토그램은 데이터의 빈도를 직접적으로 나타내기 때문에, 큰 값이 빈번하게 발생하는 경우 상대적으로 작은 값을 잘 드러내지 못하는 경향이 있습니다. 반면, Rootgram은 빈도를 제곱근 형태로 변환하여, 데이터 분포의 차이를 더 잘 시각화할 수 있도록 돕습니다 * 여기서