Randomized Experiments

어떤 사람들은 3루에 태어났지만 자신이 3루타를 쳤다고 생각하면서 인생을 산다 - Barry Switzer

Association $\neq$ Causation

$$E[Y|T=1] - E[Y|T=0] = \underbrace{E[Y_1 - Y_0|T=1]}_{ATT} + \underbrace{\{ E[Y_0|T=1] - E[Y_0|T=0] \}}_{BIAS}$$

  • 위 식에서 Bias가 없다면  Association $=$ Causation이 성립될 수 있다.
  • 다시 말해서  Treatment Group의 Counterfactual Outcome과 Control Group의 Counterfactual Outcome은 동일해야 한다.

Randomized Experiment

  • 이론적으로는 말이 되나, 현실에서 동일한 조건의 Treatment Group, Control Group을 찾는게 쉽지 않다.
  • Bias를 제거하기 위한 방법 중 하나로 Randomized Experiment가 있다.
  • 이름이 의미하는 바대로 Treatment or Controp Group에 Assign할 때 Random하게 한다. → 이 때 각 Group의 비율을 반드시 동일하게 나눌 필요는 없다.
  • Randomized Experiment는 다음 조건이 성립할 수 있도록 해준다.

$$(Y_0, Y_1) \perp\!\!\!\perp T$$

Potential Outcome

  • $(Y_0, Y_1) \perp\!\!\!\perp T$ 식이 의미하는 바는 Potential Outcome이 Treatment와 독립이라는 뜻이다.
  • Potential Outcome이란, Treatment 또는 Control Group에서 발생할 수 있는 잠재적인 결과를 말한다.
  • Treatment → Outcome으로 이어지는 인과관계를 보기 위한 목적이니 Outcome이 Treatment와 독립적이지는 않아야 한다. 하지만 Potential Outcome은 Treatment와 독립적이어야 할 필요가 있다.
  • 다시 말해서 Treatment 여부를 안다고 해서 Treatment 이전의 Outcome에 대해서는 어떠한 정보를 주지 않는 것을 의미한다.
  • $E[Y_0|T=0]=E[Y_0|T=1]=E[Y_0]$ 는 ATE(Average Treatment Effect)를 다음과 같이 계산할 수 있게 도와준다.

$$E[Y|T=1] - E[Y|T=0] = E[Y_1 - Y_0]=ATE$$

References

Read more

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

Pandera: 데이터프레임 검증에 최적화된 도구 주요 장점 * Pandas와 통합: Pandas 데이터프레임에 대해 스키마 기반 검증을 수행합니다. * 유연한 검증 조건: 열 데이터 타입, 값 범위, Null 여부 등 다양한 검증 조건을 정의할 수 있습니다. * 명확한 오류 메시지: 스키마 불일치에 대한 명확한 오류 메시지를 제공합니다. 단점 * 대용량 데이터 검증에서는 속도가 느릴 수

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression * Tobit 회귀(Tobit Regression)는 종속 변수가 특정 값에서 절단(Censored)된 상황에서 데이터를 분석하기 위해 사용되는 통계 기법입니다. * James Tobin이 처음 제안한 이 모델은 경제학과 사회과학 분야에서 자주 사용되며, 일반 선형 회귀로는 설명할 수 없는 상황에서 효과적으로 적용할 수 있습니다. Tobit Regression 수식 1. 관측된 종속 변수