확률변수(Random Variable), 그리고 확률질량(밀도)함수

솔직히 말하지만, 확률변수, 그리고 확률질량(밀도)힘수를 이해하는데 생각보다 많은 시간이 걸렸습니다. 배우는 것은 아주 초기에 배웠다 할지언정 암기를 넣어 이해하는데 상당한 시간이 걸렸습니다. 그래서 생각이 날 때 다시 한 번 기록해봅니다.

Random Variable(확률변수)

확률이라는 단어도 어려운데 변수라니, 정말 어려운 단어의 결합이구나라고 오랜 시간 생각 해온 것 같습니다. 단어 그대로 해석해본다면 다음과 같습니다

  • Random → 임의로,
  • Variable → 변하는 수

정리하면 임의로 변하는 수가 Random Variable입니다. 임의로 변한다는 말 자체가 불확실성을 가지고 있다는 뜻입니다.
아침 9시에 지하철을 타는 사람의 수를 관찰한다고 합시다. 매일 아침 9시에 지하철을 타는 사람을 관찰하는 겁니다. 숫자가 매일 동일할까요? 그렇지 않습니다. 매일 조금씩 수치가 변할 것입니다. 이와 같이 “아침 9시에 지하철을 타는 사람의 수”는 임의로 변하는 수입니다. 하지만 이를 한 10년 정도 지켜본다고 칩시다. 365*10이니까, 3,650개의 수치가 모아질 겁니다.

그러면 대략 아침 9시에 지하철을 타는 사람의 수는 어떤 트렌드를 가지고 있을 것입니다. 우리는 이러한 트렌드를 바탕으로 내일에는 몇명이 탈지 대략 예측을 할 수 있게 됩니다. 이 때 “아침 9시에 지하철을 타는 사람의 수”는 Random Variable이고, 우리가 찾은 숫자들을 설명하는 패턴은 Distribution, 즉 분포라고 말합니다. Random Variable에서 각각의 수가 발생할 확률이 있을 것이고 이러한 확률에 맞게 각각의 경우의 수를 Random Variable은 Output으로 보여 주기 때문에 Random Variable은 하나의 함수라고 볼 수 있습니다.

Probability Distribution

앞서 언급한 사건, “아침 9시에 지하철을 타는 사람의 수”는 1명, 2명일 수 있겠지만, 2.5명은 존재할 수 없습니다. 이렇게 구간이 딱딱 떨어지는 경우를 Random Variable의 Space로 가지고 있는 Discrete Random Vavriable, 그렇지 않은 경우를 Continuous Random Variable이라고 합니다.

우리가 “아침 9시에 지하철을 타는 사람의 수”를 관찰한 결과 사람 수 별로 각각 나올 가능성이라는 것을 잴 수가 있습니다. 예를 들어 1명일 경우는 거의 0%에 가까운 확률을 가지고 있을 것입니다. 이렇게 각각 Space 상에 나타날 값을 X축에, 나타날 가능성을 Y축에 그린 것을 확률분포라고 합니다. 그리고 그 분포를 그리기 위한 함수를 DIscrete Random Variable의 Distribution에서는 확률질량분포함수(Probability Mass Function), Continous Random Variable Distribution에서는 확률도함수(Probability Density Function)이라고 합니다

DIscrete Random Variable Distriubtion의 대표적인 Distribution에는 베르누이 분포, 이항분포 등이 있고, Continous Random Variable Distribution에는 우리가 잘 아는 정규분포(가우시안 분포) 등이 있습니다.

Read more

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

Pandera: 데이터프레임 검증에 최적화된 도구 주요 장점 * Pandas와 통합: Pandas 데이터프레임에 대해 스키마 기반 검증을 수행합니다. * 유연한 검증 조건: 열 데이터 타입, 값 범위, Null 여부 등 다양한 검증 조건을 정의할 수 있습니다. * 명확한 오류 메시지: 스키마 불일치에 대한 명확한 오류 메시지를 제공합니다. 단점 * 대용량 데이터 검증에서는 속도가 느릴 수

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression * Tobit 회귀(Tobit Regression)는 종속 변수가 특정 값에서 절단(Censored)된 상황에서 데이터를 분석하기 위해 사용되는 통계 기법입니다. * James Tobin이 처음 제안한 이 모델은 경제학과 사회과학 분야에서 자주 사용되며, 일반 선형 회귀로는 설명할 수 없는 상황에서 효과적으로 적용할 수 있습니다. Tobit Regression 수식 1. 관측된 종속 변수