Career
(지금 그렇지 않더라도) 크게 생각해야 크게 이룬다.
루틴을 만들기 위해서는, 목적 아래 정말 기계적으로 해야 하는 것같다. 아침 일찍 일어나야지 마음을 먹은지 오래 되었지만, 어느 순간 삐끗한 이후부터는 더 이상 일어나려고 하지 않는다. 아니 눈을 떠지는 순간, 나는 내 그럴 줄 알았다 하면서 다시금 잠을 청하고 만다. 마치 누군가 내 귀에 패배의식을 속삭이듯 말이다. 이런 느낌은, 긍정확언을
Bongho Lee
Father
아빠의 삶과 나의 삶에 대한 균형점의 의미
결국 죽고나면, 우리도 저렇게 쓰레기같이 악취만 나는 존재가 되어 버릴텐데. 음식쓰레기를 버리면서 코를 찌르는 악취를 맡게 되었다. 자연스레 숨을 참고 나는 빠르게 쓰레기를 버리는데 집중하였다. 그 떄 이 생각이 불연듯 머리를 스쳐나갔다. 2인 가족에서 3인가족으로 가족의 구조가 재편되어가는지 어느덧 2년이 되어가고 있다. 무라카미 하루키처럼 때로는 자신의 삶을 완벽하게 디자인하면서 살아보겠다고
A/B Test
A/B테스트 시 사용되는 비모수 통계검정 방법론
비모수 통계검정 * 비모수 통계검정(Non-parametric test)은 데이터가 특정한 분포(정규분포 등)를 따르지 않아도 적용할 수 있는 통계적 방법입니다. * 즉, 데이터의 분포를 가정하지 않고 실험 결과를 비교할 수 있어 작은 샘플 크기나 분포가 불확실한 상황에서 유용하게 사용됩니다. * 비모수 검정은 데이터를 순위로 변환하여 분석하거나, 데이터 자체의 분포에 대해 통계적 결론을
A/B Test
A/B테스트의 신뢰성을 저하하는 현상, SRM(Sampling Ratio Mismatch)
SRM(Sampling Ratio Mismatch)란? * SRM(Sampling Ratio Mismatch)은 A/B 테스트에서 두 개 이상의 그룹에 할당된 샘플 수가 의도한 비율과 일치하지 않는 현상을 말합니다. * 예를 들어, A/B 테스트를 진행할 때 A와 B 그룹에 각각 50%씩 트래픽을 할당하는 것이 일반적입니다. 하지만 예상과 다르게, A 그룹에 70%, B
A/B Test
탐험과 활용의 균형을 맞추기 위한 알고리즘, 톰슨샘플링
톰슨 샘플링이란? * 톰슨 샘플링(Thompson Sampling)은 멀티 암드 밴딧 문제(Multi-Armed Bandit Problem)에서 사용되는 확률론적 알고리즘으로, 다양한 선택지(예: 광고, 제품 추천) 중에서 가장 효율적인 선택지를 반복적으로 탐색하는 방법입니다 * 이는 탐험(Exploration)과 활용(Exploitation)의 균형을 잘 맞추기 위한 기법으로, 각 선택지의 성공 확률을 베이지안 방법론을 통해
Thought
대체불가능한 사람(부제 - 다시금 Why를 고민하다.)
나는 대체불가능한 사람인가? 아침에 아이를 돌보면서 문득 들었던 생각이다. 사내에서 하나의 사원번호로 관리되다가 퇴직하기 쉬운 세상에서 대체불가능한 사람이 되려면 어떻게 되어야 하는 것일까? 그 순간 떠오르는 대체불가능한 사람은 다음 두가지 유형에 속하는 사람이었다. 첫째, 말그대로 유니크(Unique)해서 대체불가능한 사람이었다. 대다수의 사람과 달리 구별되는 특징을 갖고 있으면 대체되기 어렵다고 생각하였다.
Data
SeedFinder는 실험 전 편향을 제거하기 위한 방법 중 하나입니다.
SeedFinder * 편향을 최소화하기 위해 "SeedFinder" 방식에서 가장 적은 편향을 가진 SaltKey를 찾는 프로세스 * 기본적인 아이디어는 여러 SaltKey를 사용해 무작위화된 그룹을 생성하고, A/A 테스트에서 이 그룹들의 성과 지표(예: 전환율 등)가 균등한지 평가하여 편향이 적은 SaltKey를 선택하는 것입니다. 전체 프로세스 1. 여러 SaltKey를 생성 2. 각 SaltKey에
Data
Chi-Square Test와 T-Test는 데이터 특성에 따라 선택하여 사용합니다.
Chi-Square Test가 A/B/C Test에서 사용되는 구체적인 경우 * 범주형 데이터 분석: 각 그룹에서 클릭하거나 전환된 사람의 수를 비교할 때, 이 데이터를 범주형 변수로 간주하고 Chi-Square Test를 적용할 수 있습니다. * 다중 그룹 비교: A/B/C 테스트에서 세 개 이상의 그룹을 비교해야 할 때, Chi-Square Test는 모든 그룹 간의 독립성을
OLS
OLS 기반 인과추론 시 오차항 관련 체크 필요 가정
배경 * 아래 글을 DANBI에서 보다가 더 알아보게 되었습니다. OLS를 떠받치는 몇 개의 기둥이 있는데 그중 실용적으로 가장 중요한 것이 일치성(consistency)다. 쉽게 말해서 OLS를 통해 도출된 추정량이 있을 때 샘플사이즈가 커지면서 이 값이 참 값으로 접근한다는 것이다. 일치성이 충족되면 우리는 적당하게 큰 표본에 대해서 추정치가 좋은 속성을 지니고 있다고
AI
인공지능이 문제가 아니라 결국 사람이 문제가 될 것입니다.
사람들이 AI가 필요하다고 생각하는 시점 저 판사를 얼른 AI로 교체해야 한다. 유튜브에서 뉴스를 보다 보면 정말 많이 보이는 덧글입니다. 이러한 내용의 덧글이 달릴 때마다, 정말 많은 사람들이 공감을 표하곤 합니다. 왜 이렇게 사람들은 이러한 주장에 공감을 표하는 것일까? AI는 시킨대로 하기 때문에 공정하다는 인식 여러 이유가 있겠지만, 사람들은 아마 AI가
Data
BG/NBD 모델은 고객 생애가치를 추정하는데 사용되는 확률 모델입니다.
1. BG/NBD 모델이란? * BG/NBD(Beta-Geometric/Negative Binomial Distribution) 모델은 **고객의 생애 가치(Customer Lifetime Value, CLV)**를 추정하는 데 사용되는 확률적 모델입니다. * 특히 고객이 반복 구매를 할지, 아니면 더 이상 활동하지 않을지를 추정하는 데 유용합니다. 이 모델은 고객의 구매 행태를 두 가지 중요한 개념으로 나눕니다: * 고객은 활성(active)
Data
다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.
다중공선성(Multi Collinearity) * **Multi-Collinearity(다중공선성)**는 독립 변수들 간의 강한 상관관계가 존재할 때 발생합니다. 즉, 한 독립 변수가 다른 독립 변수에 의해 설명될 수 있을 정도로 상관관계가 높은 상황을 의미합니다. * 이 문제는 주로 회귀 분석에서 나타나며, 변수들 간의 관계를 해석하는 데 있어 큰 장애물이 될 수 있습니다. * 일반적인 회귀식을 $Y=
Data
Bayesian P-Value는 불확실성을 감안하여 모델의 적합도를 평가합니다.
Bayesian P- Value * Bayesian P-Value는 **모델의 적합도(goodness-of-fit)**를 평가하는 데 사용됩니다. * 사후 분포(posterior distribution)를 이용하여 실제 데이터와 모델이 생성한 예상 데이터를 비교함으로써, 관측된 데이터가 모델에 의해 얼마나 잘 설명되는지를 평가합니다. * 빈도주의 p-값은 "관찰된 데이터보다 극단적인 데이터가 나올 확률"을 계산하지만, Bayesian P-Value는 "모델이 실제
Data
Non-Identifiability는 Model Parameter를 고유하게 식별할 수 없는 현상입니다.
Non Identifiability * Non-Identifiability는 주어진 데이터와 모델에 대해 특정 파라미터를 고유하게 식별할 수 없는 상황을 의미합니다. 즉, 여러 파라미터 값들이 동일한 데이터를 생성할 수 있으며, 이로 인해 특정 파라미터 값을 확정적으로 추정하기 어렵게 됩니다. * 베이지안 추론에서 Non-Identifiability는 사후 분포가 특정 파라미터 값에 대해 명확하게 수렴하지 않고, 여러 값들에 대해 비슷한 확률을
Data
Rootgram은 큰 분산을 갖거나 비정규 형태의 데이터를 위한 히스토그램입니다.
Rootgram * 히스토그램의 변형으로 데이터가 비정규적이거나 큰 분산을 가지는 경우, 정확한 분포를 파악하기 위해 사용됩니다. * 일반적으로 히스토그램은 데이터의 빈도를 직접적으로 나타내기 때문에, 큰 값이 빈번하게 발생하는 경우 상대적으로 작은 값을 잘 드러내지 못하는 경향이 있습니다. 반면, Rootgram은 빈도를 제곱근 형태로 변환하여, 데이터 분포의 차이를 더 잘 시각화할 수 있도록 돕습니다 * 여기서
Data
ML 코드 작성시 유의사항
유의사항 * 코드의 작성방식: 다른사람이 코드를 읽고 이해할 수 있는가? * 코드의 성능: 의도치 않은 부작용이 발생하는가? * 코드의 복잡성: 유스케이스에 비해 설계가 과도하고 부족한가 * 개선의 용이성: ML코드가 지속적으로 리팩토링 되는가? 코드 작성방식에 따른 개발자(+데이터과학자)의 유형 분류 출처 * 머신러닝 엔지니어링 인 액션