인과추론(Causal Inference) – Collider

Collider

  • Z는 X,Y의 공통 효과(Common Effect)이다.
  • Z가 조건부로 주어졌을 때 X와 Y는 의존적일 가능성이 있다.
  • Z = X+Y라고 할 때 Z값이 고정이 되면 (예: 10) X,Y의 값은 서로 의존적이 된다
  • 몬티홀(Monty Hall)문제도 Collider로 볼 수 있다. → 처음에 참가자 선택한 문과 자동차가 배치된 문은 서로 독립이었다.
  • 하지만 이 두 노드는 사회자가 여는 문은 참가자가 선택한 문과 자동차가 배치된 문에 영향을 받기 때문에 Collider Case 라고 볼 수 있다.

Example

  • 앞뒷면이 나올 확률이 같은 동전 두 개를 독집적으로 던지고 동전 중 적어도 하나가 앞면이 나올 때 종이 울린다라고 하자
  • 이 때 각 동전의 결과를 각각 X,Y라고 하고 종소리의 상태를 Z라고 놓을 때 다음과 같이 확률을 정리할 수 있다.
  • 이 때 다음 식이 성립한다
    P(X=”앞면”|Y=”앞면)=P(X=”뒷면”|Y=”뒷면”)= [latex] {1 \over 2} [/latex]
  • 이 때 표에 기반해서 확률을 계산해보면 다음과 같다
    P(X=”앞면”| Z=1) = [latex] {2 \over 3} [/latex]
    P(X=”앞면” |Y= “앞면”,Z=1) = [latex] {1 \over 2} [/latex]
  • Z=1일때,X의 앞면의 확률은 Y=앞면이라는 사실을 알 때 확률이 바뀌었다. 다시 말해서 X,Y는 Z에 의존적이다,

규칙

변수 Z가 두 변수 X,Y 사이의 Collider Node이고 X와 Y사이에 단 하나의 경로만 있을 때 X,Y는 비조건부 독립(Unconditionally Independent)이다.
그러나 Z 또는 Z의 자손을 조건부로 하였을 떄는 X,Y와 종속적일 가능성이 있다.

References

Read more

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

Pandera: 데이터프레임 검증에 최적화된 도구 주요 장점 * Pandas와 통합: Pandas 데이터프레임에 대해 스키마 기반 검증을 수행합니다. * 유연한 검증 조건: 열 데이터 타입, 값 범위, Null 여부 등 다양한 검증 조건을 정의할 수 있습니다. * 명확한 오류 메시지: 스키마 불일치에 대한 명확한 오류 메시지를 제공합니다. 단점 * 대용량 데이터 검증에서는 속도가 느릴 수

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression * Tobit 회귀(Tobit Regression)는 종속 변수가 특정 값에서 절단(Censored)된 상황에서 데이터를 분석하기 위해 사용되는 통계 기법입니다. * James Tobin이 처음 제안한 이 모델은 경제학과 사회과학 분야에서 자주 사용되며, 일반 선형 회귀로는 설명할 수 없는 상황에서 효과적으로 적용할 수 있습니다. Tobit Regression 수식 1. 관측된 종속 변수