Positivity Assumption

Positivity Assumption

  • Formal 하게 말하면 관심 있는 모든 계층 및 노출 수준에 대해서 공변량을 조건부로 하였을 때 특정 수준의 노출이 있을 확률이 0보다 크고 1보다 작아야 한다는 것이 Positivty Assumption
  • 쉽게 말하면 어떤 두 집단을 비교한다고 할 때, Treatment를 받을 수 있거나, 받지 못할 수 있는, 또는 받게될 표본집단을 반드시 가지고 있어야 한다는 뜻

Violation

Random non-positivity

  • 우연이든 그렇지 않든 표본 사이즈가 너무 작아서 Treatment 또는 Control만 발생할 경우가 이 케이스
  • 대체로 Continuous Variable과 관련해서 발한다. 예를 들어 연령이 Variable 중 하나인데 특정 연령군의 데이터가 적어서 Treatment와 Control이 나누지 못할 때가 그러하다. 물론 Continuous Variable의 특성상 앞 뒤 연령대의 사람들의 정보를 바탕으로 Interpolation을 할 수도 있다.

Structural non-positivity

  • 구조적으로 아예 실험 환경에서 제외가 되는 경우에서 비롯되는 케이스로 예를 들어 50대 미만을 대상으로 실험한다고 하면 예를 들어 50대 미만을 대상으로 연구를 진행한다고 하면 당연하게도 52세는 포함이 될 수 없기 때문에 이 경우 52세는 Treatment / Control Group에 속할 확률이 0이다. 따라서 Positivity Assumption에 위배가 된다.
image

References

Read more

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

Pandera: 데이터프레임 검증에 최적화된 도구 주요 장점 * Pandas와 통합: Pandas 데이터프레임에 대해 스키마 기반 검증을 수행합니다. * 유연한 검증 조건: 열 데이터 타입, 값 범위, Null 여부 등 다양한 검증 조건을 정의할 수 있습니다. * 명확한 오류 메시지: 스키마 불일치에 대한 명확한 오류 메시지를 제공합니다. 단점 * 대용량 데이터 검증에서는 속도가 느릴 수

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression * Tobit 회귀(Tobit Regression)는 종속 변수가 특정 값에서 절단(Censored)된 상황에서 데이터를 분석하기 위해 사용되는 통계 기법입니다. * James Tobin이 처음 제안한 이 모델은 경제학과 사회과학 분야에서 자주 사용되며, 일반 선형 회귀로는 설명할 수 없는 상황에서 효과적으로 적용할 수 있습니다. Tobit Regression 수식 1. 관측된 종속 변수