Data
데이터 모델에 대한 수식없는 설명
배경 데이터 관련 업무로 돌아온지 4개월이 넘어간다. 사업의 목적을 달성하기 위해서 사업 등의 비개발부서와 현재 시점 뿐 만 아니라 장기적인 관점의 과제를 두고 다양한 논의를 한다. 그렇게 논의를 하다보면 종종 데이터 모델에 대해서 만능인것마냥 상황과 상관없이 항상 절대적으로 높은 수준의 서비스를 제공해줄 수 있을 것으로 기대하는 분들이 종종 있다. 이런
Latest
Linear Algebra
Kernel, Image, Isomorphism, Dimension Theorem
Kernel & Image(Range) * 두 Vector Space $X → Y$에 대해서 Linear Mapping $F$을 했을 때, Kernel of F($ker F$)는 F(X)=0이 나오는 모든 $x, x \in X$의 Set을 말한다. * 이 때 $ker F$은 Vector Space $X$의 부분집합으로 Scala 배, 덧셈에 대해 닫혀있다.
Investment
[책] 노후를 위해 집을 이용하라
인상깊었던 구절 사람들이 몰려서 부동산 가격이 폭등한다는 소문이 들리면 마음이 조급해지게 마련입니다.지금 막 오르는 부동산이라도 사고 싶어집니다. 너무 사고 싶습니다. 다른 사람들도 투자한다고 하니 안심이 됩니다. 나만 하지 않으면 오히려 손해를 보는 느낌입니다. 얼른 큰 돈을 넣어서 엄청난 수익을 거두고 싶습니다. 하지만 단언하건대 이런 곳엔 수익이 없습니다. 이 책에서
Linear Algebra
Linear Mapping, Linear Function, Bijection, injection and surjection
Linear Mapping, Linear Function * $L: V → W$ 형태로 표기한다. * 선형사상이 되기 위해서는 다음 조건을 만족해야 한다. * 1. $L(v_1 + v_2) = L(v_1) + L(v_2)$ * 2. $L(av) = aL(v)$ * $(x,y)$를 Linear Mapping에 통과시킨다고 할 때 $(x',y')$점이 된다고 할 때 다음과
Book
[책]비겁한 돈, 용기있는 기회주의자가 부를 얻는다.
기대를 가지고 본 책은 아니었다. 제목이 상당히 특이한 부분도 있었고, 전직 개그맨이 썼다는 부분에서 오는 선입견일 수 있던 것 같다. 그럼에도 불구하고 전문투자자가 아니었던 사람이 투자에 관한 부분을 썼다는 점이 공감 포인트였기 때문에 호기심을 가지고 구매하게 되었다. 책 내용 자체는 철학에 관한 내용으로 책 제목과 직접적으로 연결되는 부분은 "Part
Linear Algebra
Vector Space, Linear Independent, Basis
Vector Space * 집합 내 원소간 대한 덧셈과 상수곱을 했을 때 결과가 모두 해당 집합에 속하고, 다음 조건을 만족하는 집합을 Vector Space라고 정의한다 * 합에 대하여 * 교환법칙: $a + b = b + a$ * 결합법칙 $(a + b) + c = a + (b + c)$ * 항등원: $a + 0 = a$ * 역원: $a + (-a) = 0$ * 상수곱에 대하여 * 분배법칙 * $c(a + b)
Ghost
[Ghost] Mail발송용으로 Mailgun 대신 Gmail을 사용하기
배경 * Ghost 5.9버전 이후 현재 Mail 발송이 되지 않는다. Ghost is currently unable to send email. See http://support.ghost.org/mail for instructions. * 이로 인해서, 멤버십 관련 가입을 위한 Magic Link라든가, News Letter 등 모든 부분이 Working하지 않는다. * 특히 Ghost 5.9 버전 이후부터는 Comment 기능이 추가되었는데, 이
Data
PLM(Electra) Practice(네이버 리뷰 분류 모델)
전체 순서 * 라이브러리 로드 → 데이터셋 만들고 → 모델 로드하고 → Optimizer 설정하고, 데이터 로더로 데이터셋을 배치 사이즈에 맞게 불러올 수 있도록 준비하고 → Epoch에 맞게 반복 → Epoch 때마다 Gradient 초기화하고, 디바이스로 Label 보내주고, Input에 기준해서 예측하고, 평가하고, Backforwarding 하고, Loss 계산하고, 반복 라이브러리 로딩 * Pandas → 데이터 로드하고, 필요에 따라 re, spacy 등 불러와서
Book
[책] "선택 설계자", 탁월한 의사결정을 위해 리더가 해야 할 일
모든 성공적인 전략은 제각각이다. 하지만 전략적 실패는 모두 엇비슷하다 인트로 리더로 일을 한지 4개월 정도 되어 간다. 리더가 되어보니 실무로 일을 할 때와는 상황이 다르다. 일 잘하는 사람이 잘하는 두가지: Escalation, Delegation 와 같은 글을 썼었던 적이 있다. 리더 역시 동일한 철학을 가지고 하는 부분도 있었다. 하지만 나만 잘해서 되는
Business
좋은 데이터 프로덕트 오너(Data Product Owner)
데이터 프로덕트 오너는 왜 필요한가? * AI(Data) Product Owner는 Product Owner 중에서도 Data Product에 보다 초점을 맞춘 PO로 Business Scrum Team의 Value를 극대화시켜서 Business에 기여해야 한다. * 이 때 기존 Product Ower와는 다음과 같은 차이가 있다. * 기존 Product가 Rule을 명시적으로 설계함으로써 목적을 달성하는데 반해서 AI(Data) Product는 Rule을 암시적으로 학습할 수
Data
Bayesian Count Estimation
Introudunction * 파이썬을 활용한 베이지안 통계 2판을 보면서 제대로 이해하고 있는지 기록하고 싶은 목적에서 Chapter5 수량추정의 문제를 직접 풀어본다. 기관차 문제(The Train Problem) * Source: Fifty Challenging Problems in Probability with Solutions 각 철도에는 이를 지나가는 기관차에 1부터 N까지의 순서로 번호를 붙인다. 어느날 60호 기관차를 보았다. 이 때 이 철도에는 몇
Data
Ridge/Lasso Regression, Elastic Net
Regularization * Linear Regression에서는 Feature의 수가 많아질 수록 $R^2$가 증가하면서 Overfitting으로 가는 경우가 많다. 그래서 Regularization을 통해서 Overfitting이 되지 않도록 Cost Function 뒤에 Regularization & Labmda(Hyper parameter) Term을 이용해서 조절해준다. * Regularization은 L1-Norm, L2-Norm이 있고, 어떤 것을 쓰는지, 또는 결합하는지에 따라 Ridge, Lasso Regression 또는 Elastic Net으로 분류가 된다.
Data
선형 회귀(Linear Regression)
Base Class * init Function에서는 최적 $\beta$를 찾아가는 과정에서 Gradient Descent, 즉 을Loss Function을 최소화하는 방향으로 조금씩 값을 대입해보면서 최종 값을 찾아가는 형태이기 때문에 Learning Rate와 Iteration에 대한 변수를 설정하고 있다. * 그리고 Weight 값에 대해서는 Uniform Distribution을 초기화를 해주는데, 이 부분은 기본적으로 0으로 초기화해도 Training은 가능할 수 있으나, 이후에 Weight를
Book
[책] 팀장으로 산다는 건 2
습관처럼 서점을 휴식삼아 돌아다니던 중 이 책(링크)을 발견하였다. 제목이 완결된 문장이 아니다보니, "팀장으로 산다는 것은~"의 뒤에 이어질 "답"과 같은 단어가 매우 궁금하였기 때문이다. 1편이 아닌 2편이었지만 앞서 언급한 궁금증이 구매 결정을 부추겼다. 팀장으로 일을 한지 3개월이 다 되어가고 있다. 절대적인 하나의 상징이고
Data
유전 알고리즘(Genetic Algorithm )
Genetic Algorithm * 존 홀랜드(John Holland)가 1975년에 저서 "Adaptation on Natural and Artificial Systems" 에서 처음 소개한 최적화 기법 * 실제 생물 진화를 모방해서 문제를 해결하는 진화 연산의 대표적인 방법 * HyperParameter Search를 할 때도 여전히 유효하게 쓰이고 있는 방법 * "초기화 → 적합도 함수에 기반해서 적합한 유전자를 선별 → 해당
Book
[책] 에센셜리즘(Essentialism)
Upload 책 제목의 어원인 "Essential"이란 "필수적인" 이란 뜻을 의미하는 영어단어이다. 에센셜리스트는 이 단어를 중심으로 살아가는 사람을 뜻하고, 에센셜리즘은 이 단어를 중심으로 살아가는 원칙주의를 뜻한다. 세상은 점차 복잡해지고, 조금이라도 일찍 태어났더라면 좋았을 정도로 너무 복잡해지고, 이미 시장의 상당수는 선점이 되어 있어 쉽게 사는 것은 이미 불가능한