인과추론(Causal Inference) – Inverse Probability Weight

역확률 가중치(Inverse Probability Weighting)

  • 모집단에서 일부 데이터가 유실되었을 때(예: Selection Bias) 남은 데이터로 유사 모집단(Pseudo Population)을 생성해서 통계를 계산하는 기법
  • 1952년에 제시된 꽤 오래된 기법으로 각 데이터에 데이터가 치료군(Treatment)에 속할 가능성의 역수를 가중치(Weight)로 곱해주는 방식
  • 개념만 쉽게 본다고 하면 Propensity Score Matching은 데이터의 수를 줄이는데 반해서 이 것은 데이터를 늘리는 개념
  • 인과추론에서는 Confounding을 제거하기 위한 여러 방법이 있는데(Restriction, Matching, Adjustment, and Weighting) Weigthing 관련 가장 많이 쓰이는 방식이 Inverse Probability Weigthing으로 이를 통해서 표준화를 할 수 있다. 데이터의 분포를 균일하게 맞춰줄 수 있다.
  • 기본적으로 로지스틱 회귀분석 모델에서 사용이 된다.

인과추론에서는?

  • Inverse Probability Weighting(IPW)를 이용하면 특정 개입조건(Z=z)인 상황에서 $ P(Y=do(x))$를 구할 때 X=x에 대한 Y=y값의 빈도를 바탕으로 계산량을 조금 더 줄일 수 있게 된다.

Read more

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

Pandera: 데이터프레임 검증에 최적화된 도구 주요 장점 * Pandas와 통합: Pandas 데이터프레임에 대해 스키마 기반 검증을 수행합니다. * 유연한 검증 조건: 열 데이터 타입, 값 범위, Null 여부 등 다양한 검증 조건을 정의할 수 있습니다. * 명확한 오류 메시지: 스키마 불일치에 대한 명확한 오류 메시지를 제공합니다. 단점 * 대용량 데이터 검증에서는 속도가 느릴 수

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression * Tobit 회귀(Tobit Regression)는 종속 변수가 특정 값에서 절단(Censored)된 상황에서 데이터를 분석하기 위해 사용되는 통계 기법입니다. * James Tobin이 처음 제안한 이 모델은 경제학과 사회과학 분야에서 자주 사용되며, 일반 선형 회귀로는 설명할 수 없는 상황에서 효과적으로 적용할 수 있습니다. Tobit Regression 수식 1. 관측된 종속 변수