Quantile Loss는 Quantile Regression시 사용하는 Loss Function이다.

Quantile Loss는 Quantile Regression시 사용하는 Loss Function이다.
Photo by Zhu Hongzhi / Unsplash
  • Quantile Loss는 Quantile Regression처럼 Predicted Value의 Quantile을 구하고자 할 때 사용되는 Loss Function이다.
  • 변수의 75번째 Quantile을 예측하는 것이 목표인 문제를 예로 든다면, 이는  75%의 경우 예측 오차가 음수여야 하고 나머지 25%는 양수여야 한다는 말과 동일하다.
  • 기본적으로 이러한 경우 Quantile Loss 는 과소 추정된 예측에 대해 과대 추정된 것보다 4배 더 많은 패널티를 준다. 이렇게 하면 모델이 과소 추정된 오류에 더 민감하게 반응하여 더 높은 값을 더 자주 예측하게 됩니다. 결과적으로 적합 모델은 평균적으로 약 80%의 경우 결과를 과대 추정하고 20%의 경우 과소 추정한다.
  • 조금 더 예를 들어보면 Target Value가 40이고, Predicted Value가 30, 50이고 우리가 80th Quantile을 구한다고 하면 Absolute Error는 둘다 10이더라도 Quantile Loss는 다르게 계산될 수 있다.
    • $l(40,30) = 0.8 * 10 = 8$
    • $l(40,50) = 0.2 * 10 = 2$

References

Read more

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

Pandera: 데이터프레임 검증에 최적화된 도구 주요 장점 * Pandas와 통합: Pandas 데이터프레임에 대해 스키마 기반 검증을 수행합니다. * 유연한 검증 조건: 열 데이터 타입, 값 범위, Null 여부 등 다양한 검증 조건을 정의할 수 있습니다. * 명확한 오류 메시지: 스키마 불일치에 대한 명확한 오류 메시지를 제공합니다. 단점 * 대용량 데이터 검증에서는 속도가 느릴 수

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression * Tobit 회귀(Tobit Regression)는 종속 변수가 특정 값에서 절단(Censored)된 상황에서 데이터를 분석하기 위해 사용되는 통계 기법입니다. * James Tobin이 처음 제안한 이 모델은 경제학과 사회과학 분야에서 자주 사용되며, 일반 선형 회귀로는 설명할 수 없는 상황에서 효과적으로 적용할 수 있습니다. Tobit Regression 수식 1. 관측된 종속 변수