Latest

고객 경험이란 무엇일까?

고객 경험이란 무엇일까?

고객경험이란 무엇일까? 1. 과거 어느 대형 프로젝트에서 있던 일이다. 신사업을 위해서 예측 모델 값을 제공해야 하는 상황이었다. 데이터도 없고,어느정도의 정확도를 제공해야 하는지 답이 없었다. 점추정을 할 것인가? 구간 추정을 할 것인가를 가지고 논의중이었다. Product Manager 줄기차게 고객경험을 내세우며 점추정으로 해야 한다고 주장하였다. 근거는 오롯이 "고객 경험"이었다.

By Bongho, Lee
수요예측, 수정구슬이 아닌 목표를 향한 냉정한 나침반

수요예측, 수정구슬이 아닌 목표를 향한 냉정한 나침반

수요예측의 정의와 비즈니스에서의 중요성 기업의 성장과 운영 효율화를 위해 **수요예측(Demand Forecasting)**은 선택이 아닌 필수 요소로 자리 잡았다. 많은 경영진들이 수요예측을 미래 판매량을 정확히 맞히는 '예언'으로 기대하지만, 이는 수요예측의 본질을 오해하는 것이다. 수요예측의 진짜 의미: 미래를 점치는 수정구슬이 아니라, 우리가 도달해야 할 '목표'를

By Bongho, Lee
Agentic AI와 MSA, 그리고 회사의 미래

Agentic AI와 MSA, 그리고 회사의 미래

어딜 가도 AI Agent에 대한 이야기가 들리는 요즈음이다. 정말 안하는 회사가 없다. 사람과 다르게 24시간을 일해도 지치지 않고, 재사용성도 가능하니 비용절감측면에서도, 생산성측면에서도 이만한 솔루션이 없기는 하다. 이러한 Agent가 여럿 모여 인간의 개입없이 복잡한 기능을 수행하는 시스템이 이른바 Agentic AI다. Agentic AI를 보면 문득 개인적으로는 MSA(Micro Service Architecture)가 생각난다.

By Bongho, Lee
Beyond Static Responses: Multi-Agent LLM Systems as a New Paradigm for Social Science Research

Beyond Static Responses: Multi-Agent LLM Systems as a New Paradigm for Social Science Research

Summary * 본 논문은 단순한 데이터 처리기부터 복잡한 다중 에이전트 시스템에 이르기까지 LLM 기반 에이전트의 다양한 응용 분야를 이해하기 위한 구조화된 프레임워크를 제시 * 프레임워크는 기능적 임계값(메모리 통합, 자율성, 조정, 학습)을 기준으로 LLM 기반 시스템의 복잡성과 자율성 증가를 포착하는 6단계 구조로 구성됩니다. 이 구조는 동적 환경에서 적응적 의사 결정을 위한

By Bongho, Lee
[책]운영의 소용돌이 속 성과를 내는 원칙, 성과를 내고 싶다면 실행하라

[책]운영의 소용돌이 속 성과를 내는 원칙, 성과를 내고 싶다면 실행하라

올 해 들어 두 번 이상 추천을 받은 책이었다. "성과를 내고 싶다면 실행하라"라는 당연한 책의 제목 속에 어떠한 것을 얻을 수 있는지 궁금하던 차에 가족 여행을 다녀와서 바로 읽었다. 책 내용의 핵심만 언급하라면 다음과 같이 정리가 가능하다. * 매일의 긴급한 업무(즉, "회오리바람")가 전략적 이니셔티브를

By Bongho, Lee
[책] 리더의 돕는 법, "관계"로써 도움을 바라보기.

[책] 리더의 돕는 법, "관계"로써 도움을 바라보기.

리더로서 일을 다시 하게 됨에 따라서, 이런저런 책을 읽고 있다. 그런 와중에 AC2 커뮤니티에서 추천받았던 책이 기억났다. 바로 오늘 소개할 “리더의 돕는법”이라는 책이었다. 뭔가 한서의 제목이 이상해서 원서를 찾아보니 제목이 ”Helping”이다. 직역하면 ”도움을 구하는 법“이다. 이직 후 홀로서기를 해야 하는 나의 상황을 보면 괜찮은 책이라고 판단되어 읽기

By Bongho, Lee
AB테스트를 하지 않을 때 발생할 수 있는 실수

AB테스트를 하지 않을 때 발생할 수 있는 실수

회사에서 실험의 중요성이 대두되고 있다. 여기서 실험은 A/B 테스트를 말한다. 이러한 실험이 중요시 되는 것은 바로 글로벌 기업이 되었기 때문이다. 글로벌 기업이 되면 각 지역별로 비슷한 서비스 하는 회사간 교류의 기회가 늘어난다. 그리고 서로간의 인사이트 또는 실적을 공유하게 된다. 이런 공유가 잘되려면 증거가 탄탄하고, 누가 봐도 신뢰할 수 있어야

By Bongho, Lee
MCP Server는 모델을 관리 및 서빙을 해주는 서버이다.

MCP Server는 모델을 관리 및 서빙을 해주는 서버이다.

MCP(Model Context Protocol) Server * MCP Server는 이 Model Context Protocol을 기반으로 한 모델을 실제로 관리하고, 서빙하거나 호출 요청을 받아 처리하는 중앙 서버 MCP Server가 제공하는 기능 기능 설명 모델 로딩 및 등록 다양한 MCP 스펙으로 정의된 모델을 받아들이고 등록함 컨텍스트 관리 모델마다 필요한 입력/출력 타입, 버전 등을 정리해서

By Bongho, Lee
DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

Pandera: 데이터프레임 검증에 최적화된 도구 주요 장점 * Pandas와 통합: Pandas 데이터프레임에 대해 스키마 기반 검증을 수행합니다. * 유연한 검증 조건: 열 데이터 타입, 값 범위, Null 여부 등 다양한 검증 조건을 정의할 수 있습니다. * 명확한 오류 메시지: 스키마 불일치에 대한 명확한 오류 메시지를 제공합니다. 단점 * 대용량 데이터 검증에서는 속도가 느릴 수

By Bongho, Lee
Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression * Tobit 회귀(Tobit Regression)는 종속 변수가 특정 값에서 절단(Censored)된 상황에서 데이터를 분석하기 위해 사용되는 통계 기법입니다. * James Tobin이 처음 제안한 이 모델은 경제학과 사회과학 분야에서 자주 사용되며, 일반 선형 회귀로는 설명할 수 없는 상황에서 효과적으로 적용할 수 있습니다. Tobit Regression 수식 1. 관측된 종속 변수

By Bongho, Lee
Conformalized Quantile Regression은 예측 불확실성을 정량화한다.

Conformalized Quantile Regression은 예측 불확실성을 정량화한다.

CQR is * **Conformalized Quantile Regression(CQR)**은 예측 불확실성을 정량화하기 위해 개발된 방법으로, 회귀 문제에서 신뢰 가능한 예측 구간을 생성하는 데 사용됩니다. * 전통적인 **Quantile Regression(분위수 회귀)**과 **Conformal Prediction(적합 예측)**을 결합한 기법으로, 데이터의 분포 가정 없이 사후적 예측 구간을 제공합니다. Motivation * 기존의 예측 방법은 보통 점 예측(

By Bongho, Lee
구성원의 사기를 꺾고 퇴사에 이르게 하는 방법 3가지

구성원의 사기를 꺾고 퇴사에 이르게 하는 방법 3가지

대체로 리더로 커리어를 전환하게 되면, 실무에 대해서 집중하기 어려워지게 된다. 실무에 집중하기 보다는 회사와 사람에 대해서 보다 집중해야 하기 때문이다. 즉, 탁월한 리더는 회사와 사람에 대해서 확실한 족적을 남겨야 한다. 반대로 말하면, 탁월하지 않은 리더는 회사와 사람에 대해서 성과보다는 상처만 남기는 경우를 종종 볼 수 있다. 회사생활을 하다 보면 탁월한

By Bongho, Lee
Signaling Theory

Signaling Theory

Signaling Theory (신호 이론) * **Signaling Theory(신호 이론)**는 의사소통 과정에서 한쪽 당사자가 정보를 신호를 통해 다른 쪽 당사자에게 전달하는 과정을 설명하는 이론입니다. * 이 이론은 경제학, 생물학, 경영학, 심리학 등 다양한 분야에서 활용되며, 정보의 비대칭성이 존재하는 상황에서 등장한 개념입니다. 이 이론이 등장한 이유 * **정보 비대칭성(Information Asymmetry)**은 시장에서 두

By Bongho, Lee
책에서 밑줄을 긋기 전 고민해야 하는 것

Book

책에서 밑줄을 긋기 전 고민해야 하는 것

학교를 다닐 때 밑줄을 많이 친 것은 열심히 공부한 흔적이라고 생각한 적이 있었다. 그래서 항상 열심히 그었다. 공부를 한 것을 티내고 싶었기 때문이다. 물론 줄을 그은 만큼 나는 성적이 어느 정도는 잘 나오는 것같았다. 물론 두어번 그을 때나 성적이 올랐지, 세번 네번 그을 때는 공부를 한다기 보다는 줄 긋는 것에만

By Bongho, Lee
책_ 삶의 이야기를 쓰는 법 -모든 순간과 방향에서 끊임없이 쓰자.

Writing

책_ 삶의 이야기를 쓰는 법 -모든 순간과 방향에서 끊임없이 쓰자.

글을 잘 쓰고 싶었다. 글 중에도 여러 형태의 글이 있겠지만 스토리가 잘 살아 있는 글을 쓰고 싶었다.흐름 측면에서 어느정도는 상상이 잘 되는 그런 글을 쓰고 싶었다. 흐름이 좋은 글은 읽기에도 막힘이 없는 글이라고 생각하였다. 그리고 막힘이 없는 글을 잘 써보기 위해서는 매일 글을 쓰는 것만큼 좋은 훈련이 없다고 생각하였다.

By Bongho, Lee
Zero Inflated Negative Binomial Model은 0이 과도하게 많은 데이터에 유용하다.

Statistics

Zero Inflated Negative Binomial Model은 0이 과도하게 많은 데이터에 유용하다.

Motivation * **Zero-Inflated Negative Binomial Model(ZINB)**은 데이터셋에서 0 값이 과도하게 나타나는 경우에 이를 효과적으로 다루기 위해 개발된 모델입니다. 이 모델은 두 가지 과정을 결합하여 0 값이 생성되는 메커니즘과 실제 데이터 분포(음이항 분포)를 동시에 설명합니다 * 일반적인 음수 이항 분포(Negative Binomial)는 과도한 분산(overdispersion)을 다루는 데

By Bongho, Lee
활자를 넘어 구조적 측면에서 독서를 해야 하는 이유

Book

활자를 넘어 구조적 측면에서 독서를 해야 하는 이유

작년부터 시작해서 정말 많은 책을 읽었던 것같다. 연단위 100권 이상을 읽었으니 아마 대한민국 연평균 독서량의 100명분을 혼자 한 것이나 다름없었다. 그런데 이렇게 책을 읽다보면, 어느 시점부터인가 모든 책이 다 비슷한 내용을 언급하는 것같아 흥미는 떨어지고 스킵하며 읽는 속도는 점차 빨라지기 시작한다. 언틋 보면 속독같이 보여서 대단해보일 때도 있지만, 책에서 활자

By Bongho, Lee
Output 중심의 Readless 독서법

Book

Output 중심의 Readless 독서법

주의력 관련 유명한 실험으로 고릴라실험이 있다. 심리학자 다니엘 사이먼스(Daniel Simons)와 크리스토퍼 차브리스(Christopher Chabris)가 설계한 실험으로 피실험자는 사람들이 농구를 하는 장면을 관찰하면서 패스 횟수를 세야 하는 미션을 부여 받는다. 이 때 중간에 고릴라 복장을 한 사람이 지나간다. 실험이 종료된 이후, 피실험자에게 고릴라를 보았는지 물어본다. 이 때 절반의

By Bongho, Lee
삶 전반에 걸쳐 일관성있는 철학을 가졌는가

Life

삶 전반에 걸쳐 일관성있는 철학을 가졌는가

가난한 찰리의 연감이라는 책을 읽기 시작하고 있다. 이 책을 읽게 된 계기는 시기적인 부분과 맞물렸다. 얼떨결에 들어간 독서모임의 첫 책이었기 때문이다. 그렇게 시간적 여유와 상관없이 읽어야 했던 책이었다. 그리고 독서 모임에서 나는 무엇인가 말을 해야 했다. 독서모임을 시작하기 5분 전, 급히 책을 훑어보던 나에게 보이는 문구가 있었다. 기분이나 인식을 바꾸기

By Bongho, Lee
Holdout Group과 Control Group은 비슷하나 목적이 다르다.

A/B Test

Holdout Group과 Control Group은 비슷하나 목적이 다르다.

Holdout Group은 실험에서 완전히 제외된 그룹으로, 주로 장기적인 영향을 평가하거나, 베이스라인을 측정하기 위해서 사용되는 경우가 많다. 언틋 보면 Holdout Group은 Control Group과 큰 차이가 없어보이기도 하다. 실제로 시험을 셋팅할 때 가장 많이 듣는 질문 중의 하나가 바로 왜 Control Group과 Holdout Group을 별도로 셋팅하는가이다. Holdout Group과 Control Group의 차이는 실험에

By Bongho, Lee
과거를 잘 정리하고 내일을 바라봐야 하는 이유

Life

과거를 잘 정리하고 내일을 바라봐야 하는 이유

과거의 나도 중요하지만, 과거의 모든 삶을 오롯이 현재와 연결시킬 필요는 없다. 두가지 이유가 있다. 첫번째로는 크게 생각하기 위해서는 과거의 이야기에 너무 묶여서는 안된다. 사실 자기암시 자체가 어떻게 보면 일반화하기에는 무리가 있다고 생각한다. 하지만 철학자 비트겐슈타인이 언급한 바와 같이 사람의 사고는 결국 본인이 만든 세계 안에 언어로 표현되어 제약되는 것을 감안하다면,

By Bongho, Lee
(지금 그렇지 않더라도) 크게 생각해야 크게 이룬다.

Career

(지금 그렇지 않더라도) 크게 생각해야 크게 이룬다.

루틴을 만들기 위해서는, 목적 아래 정말 기계적으로 해야 하는 것같다. 아침 일찍 일어나야지 마음을 먹은지 오래 되었지만, 어느 순간 삐끗한 이후부터는 더 이상 일어나려고 하지 않는다. 아니 눈을 떠지는 순간, 나는 내 그럴 줄 알았다 하면서 다시금 잠을 청하고 만다. 마치 누군가 내 귀에 패배의식을 속삭이듯 말이다. 이런 느낌은, 긍정확언을

By Bongho, Lee
아빠의 삶과 나의 삶에 대한 균형점의 의미

Father

아빠의 삶과 나의 삶에 대한 균형점의 의미

결국 죽고나면, 우리도 저렇게 쓰레기같이 악취만 나는 존재가 되어 버릴텐데. 음식쓰레기를 버리면서 코를 찌르는 악취를 맡게 되었다. 자연스레 숨을 참고 나는 빠르게 쓰레기를 버리는데 집중하였다. 그 떄 이 생각이 불연듯 머리를 스쳐나갔다. 2인 가족에서 3인가족으로 가족의 구조가 재편되어가는지 어느덧 2년이 되어가고 있다. 무라카미 하루키처럼 때로는 자신의 삶을 완벽하게 디자인하면서 살아보겠다고

By Bongho, Lee
A/B테스트 시 사용되는 비모수 통계검정 방법론

A/B Test

A/B테스트 시 사용되는 비모수 통계검정 방법론

비모수 통계검정 * 비모수 통계검정(Non-parametric test)은 데이터가 특정한 분포(정규분포 등)를 따르지 않아도 적용할 수 있는 통계적 방법입니다. * 즉, 데이터의 분포를 가정하지 않고 실험 결과를 비교할 수 있어 작은 샘플 크기나 분포가 불확실한 상황에서 유용하게 사용됩니다. * 비모수 검정은 데이터를 순위로 변환하여 분석하거나, 데이터 자체의 분포에 대해 통계적 결론을

By Bongho, Lee
A/B테스트의 신뢰성을 저하하는 현상, SRM(Sampling Ratio Mismatch)

A/B Test

A/B테스트의 신뢰성을 저하하는 현상, SRM(Sampling Ratio Mismatch)

SRM(Sampling Ratio Mismatch)란? * SRM(Sampling Ratio Mismatch)은 A/B 테스트에서 두 개 이상의 그룹에 할당된 샘플 수가 의도한 비율과 일치하지 않는 현상을 말합니다. * 예를 들어, A/B 테스트를 진행할 때 A와 B 그룹에 각각 50%씩 트래픽을 할당하는 것이 일반적입니다. 하지만 예상과 다르게, A 그룹에 70%, B

By Bongho, Lee
탐험과 활용의 균형을 맞추기 위한 알고리즘, 톰슨샘플링

A/B Test

탐험과 활용의 균형을 맞추기 위한 알고리즘, 톰슨샘플링

톰슨 샘플링이란? * 톰슨 샘플링(Thompson Sampling)은 멀티 암드 밴딧 문제(Multi-Armed Bandit Problem)에서 사용되는 확률론적 알고리즘으로, 다양한 선택지(예: 광고, 제품 추천) 중에서 가장 효율적인 선택지를 반복적으로 탐색하는 방법입니다 * 이는 탐험(Exploration)과 활용(Exploitation)의 균형을 잘 맞추기 위한 기법으로, 각 선택지의 성공 확률을 베이지안 방법론을 통해

By Bongho, Lee
대체불가능한 사람(부제 - 다시금 Why를 고민하다.)

Thought

대체불가능한 사람(부제 - 다시금 Why를 고민하다.)

나는 대체불가능한 사람인가? 아침에 아이를 돌보면서 문득 들었던 생각이다. 사내에서 하나의 사원번호로 관리되다가 퇴직하기 쉬운 세상에서 대체불가능한 사람이 되려면 어떻게 되어야 하는 것일까? 그 순간 떠오르는 대체불가능한 사람은 다음 두가지 유형에 속하는 사람이었다. 첫째, 말그대로 유니크(Unique)해서 대체불가능한 사람이었다. 대다수의 사람과 달리 구별되는 특징을 갖고 있으면 대체되기 어렵다고 생각하였다.

By Bongho, Lee
SeedFinder는 실험 전 편향을 제거하기 위한 방법 중 하나입니다.

Data

SeedFinder는 실험 전 편향을 제거하기 위한 방법 중 하나입니다.

SeedFinder * 편향을 최소화하기 위해 "SeedFinder" 방식에서 가장 적은 편향을 가진 SaltKey를 찾는 프로세스 * 기본적인 아이디어는 여러 SaltKey를 사용해 무작위화된 그룹을 생성하고, A/A 테스트에서 이 그룹들의 성과 지표(예: 전환율 등)가 균등한지 평가하여 편향이 적은 SaltKey를 선택하는 것입니다. 전체 프로세스 1. 여러 SaltKey를 생성 2. 각 SaltKey에

By Bongho, Lee
Chi-Square Test와 T-Test는 데이터 특성에 따라 선택하여 사용합니다.

Data

Chi-Square Test와 T-Test는 데이터 특성에 따라 선택하여 사용합니다.

Chi-Square Test가 A/B/C Test에서 사용되는 구체적인 경우 * 범주형 데이터 분석: 각 그룹에서 클릭하거나 전환된 사람의 수를 비교할 때, 이 데이터를 범주형 변수로 간주하고 Chi-Square Test를 적용할 수 있습니다. * 다중 그룹 비교: A/B/C 테스트에서 세 개 이상의 그룹을 비교해야 할 때, Chi-Square Test는 모든 그룹 간의 독립성을

By Bongho, Lee