앞으로는 신뢰가 가장 큰 자산이 될 것입니다.

앞으로는 신뢰가 가장 큰 자산이 될 것입니다.
Photo by Bernard Hermant / Unsplash

저녁에 샤워를 하고 있을 때였습니다.  세수를 위해 폼클렌저를 집는데, "나노버블"이라는 단어가 갑자기 눈에 띄었습니다. 그 때 머리속에 이런 질문이 떠올랐습니다

사람들이 나노버블의 의미를 이해하고 있을까? 이해한다면 얼마나 이해하고 있고 그 이해도는 얼마나 정확할까?

보통 우리가 문제를 해결할 때를 생각해보면 대부분의 문제는 초기 솔루션이 대부분의 문제는 해결합니다. 해결의 진척도를 1~100으로 묘사한다면 50이상 해결하는 편입니다. 이후 나타나는 솔루션은 이제 진척도를 조금씩 올리기 시작합니다. 문제는 해결의 진척도 대비 복잡도가 크게 증가한다는 것입니다. 경쟁은 심화되어지고 이를 커버하기 위해서 스케일은 점차 커지게 됩니다. 투입비용은 늘어날 것이기에 수익성에 대한 압박 역시 커지게 됩니다.

복잡도가 증가되는 것대비 사용자는 비용에 비례해서 효과를 크게 동일하게  느끼고 있을까요? 그렇지 않다고 생각했습니다. 물론 그런 사람도 있겠지만, 모두가 인지하려면 당초 재화를 구매한 목적대비 노력이 더 들어가게 될 것입니다. 결국 정보의 가치가 점차 하락하게 되는 게 아닐까 생각했습니다. 비슷한 맥락으로, 플랫폼의 대표적인 자산 중에는 리뷰가 있습니다. 사용자는 제품 구매에 대한 의사결정시 리뷰를 많이 참조합니다. 그런데 리뷰가 너무 많으면 역시나 의미가 없습니다. 가장 앞에 보이는 리뷰가 가장 중요하게 영향을 미치지 않을까 생각합니다.

그래서 플랫폼은 리뷰페이지 첫 화면에 등장하는 리뷰를 매우 중요시 여깁니다. 그래서 첫번째 등장하는 리뷰를 선정하기 위해서 많은 노력을 기울입니다. 또는 그 페이지까지 들어오지 않는 고객을 위해서 셀럽들을 활용하기도 합니다. 이런 부분을 보면서 리뷰가 많다고 좋은 것이 아니라, 신뢰할 수 있는 리뷰가 많다는 것이 가장 중요하다는 생각이 들었습니다.

우리가 사는 지금 이 곳은 정말 어느 때보다 많은 데이터가 있고 AI 에이전트도 정말 많습니다. 잘 쓰면 좋다지만, 잘 쓰기에도 너무 많은 도움이 있는 세상이기도 합니다. 그래서 데이터 관련 업계에서 오래 일을 해왔지만, 요즘 어느 때보다 신뢰가 데이터보다 중요하다라는 생각이 듭니다.

Read more

ML 코드 작성시 유의사항

ML 코드 작성시 유의사항

유의사항 * 코드의 작성방식: 다른사람이 코드를 읽고 이해할 수 있는가? * 코드의 성능: 의도치 않은 부작용이 발생하는가? * 코드의 복잡성: 유스케이스에 비해 설계가 과도하고 부족한가 * 개선의 용이성: ML코드가 지속적으로 리팩토링 되는가? 코드 작성방식에 따른 개발자(+데이터과학자)의 유형 분류 출처 * 머신러닝 엔지니어링 인 액션

ELPD는 모델이 새로운 데이터를 얼마나 잘 예측하는지를 보여주는 지표입니다.

ELPD는 모델이 새로운 데이터를 얼마나 잘 예측하는지를 보여주는 지표입니다.

기본 개념 * ELPD(Expected Log Predictive Density)는 모델이 새로운 데이터를 얼마나 잘 예측하는지를 나타내는 지표로, 주어진 데이터 포인트에 대해 모델이 예측한 확률의 로그 값(로그확률)을 합산한 것입니다. $$\text{ELPD} = \sum_{i=1}^{n} \log p(y_i \mid \text{data})$$ * $n$: 데이터 포인트의 수 * $y_i$ : 실제 관측된

잭나이프 샘플링은 표본의 변동성 추정 방법중 하나입니다.

잭나이프 샘플링은 표본의 변동성 추정 방법중 하나입니다.

잭나이프 샘플링이란? * 잭나이프 샘플링은 표본 데이터에서 하나의 관측치를 제거한 여러 하위 샘플을 만들어, 이들 샘플에 대해 통계량을 계산한 후 그 결과를 바탕으로 전체 표본의 변동성을 추정하는 방법입니다. 잭 * 나이프는 주로 표본의 분산을 추정하거나 통계량의 편향을 줄이기 위해 사용됩니다. 예시 * 주어진 표본이 [x1, x2, x3, x4]라면, 잭나이프 샘플링은 다음과 같은

정확한 단위로 대화를 하는 것이 중요합니다.

정확한 단위로 대화를 하는 것이 중요합니다.

자전거를 타고 약속장소로 이동하는 중이었습니다. 근처 과일 가게에 이런 문구가 적혀있었습니다. "한 상자에 X,000원" 과일을 직접 사먹지는 않는 편이기 때문에 가격은 모르지만 꽤 매력적인 가격대였습니다. 그래서 잠시 "살까?" 망설였습니다. 하지만 이내 자전거를 타고 다시 가던 길을 갔습니다. 한 상자 안에 몇개가 들어가 있을지를 몰랐기 때문입니다.