Tag

Data

ONNX, 다양한 ML 프레임워크 간 모델의 상호운용 및 배포를 도와주는 프레임워크
Data

ONNX, 다양한 ML 프레임워크 간 모델의 상호운용 및 배포를 도와주는 프레임워크

Onnx is * Open Neural Network Exchange의 약자로 Pytorchs나 Tensorflow 등 다양한 Framework를 통해 생성된 모델을 결합하여 사용할 수 있도록 일관성과 상호 운용성을 보장하는 오픈소스

· 3 min read
대량 데이터에 대한 유사도 측정의 대안, MinHash & LSH
Data

대량 데이터에 대한 유사도 측정의 대안, MinHash & LSH

MinHash & LSH are * MinHash는 두 집합간의 유사도를 측정하는 기술로 각 집합을 기존 데이터보다 적은 형태의 Signature로 변환하여 연산비용을 줄여준다 * LSH는 Locality Sensitivity Hashing의

· 3 min read
Representation Fine Tuning
Data

Representation Fine Tuning

FineTuning 장점 * Privacy * Reliability * Cost-Efficient Performance * More Control FineTuning * Full Fine Tuning: 모든 Layer & Parameter를 업데이트 * Parameter-Efficient Finetuning (PEFT): Parameter의 일부만

· 1 min read
어떤 데이터를 어떻게 볼지는 엔지니어링 이전에 결정되어야 한다.
Data

어떤 데이터를 어떻게 볼지는 엔지니어링 이전에 결정되어야 한다.

데이터가 없는 회사는 없다. 활용하지 않을 뿐이다. 모든 회사는 데이터를 가지고 있다. 그리고 그러한 데이터가 보다 전사에 체계적으로 흐를 필요가 있다고 느낄 시점이 될

· 4 min read
Pandas Aggregation을 대체하는 RDB 라이브러리, DuckDB
Data

Pandas Aggregation을 대체하는 RDB 라이브러리, DuckDB

Data Prep * New York City Taxi and Limousine Commission (TLC) Trip Record Data 데이터 활용 * https://www.nyc.gov/site/tlc/about/tlc-trip-

· 3 min read
AB테스트 시 비회원의 그룹할당을 고민해야 하는 이유
Data

AB테스트 시 비회원의 그룹할당을 고민해야 하는 이유

A/B테스트 시, 비회원은 어떻게 그룹할당할지 고민하지 않으면, 특정 그룹으로 쏠리거나, 아예 반영되지 않는 상황을 야기할 수 있다. 통상 비회원은 회원번호를 공통으로 처리하고 있기

· 2 min read
Multi Task 기반 확률 모델링으로 배달시간플랫폼을 구축한 DoorDash
Data

Multi Task 기반 확률 모델링으로 배달시간플랫폼을 구축한 DoorDash

Overview Multi Task Model * Multi Task(MT) Model 사용시 장점 * 신규 서비스 배달시간 예측시, Foundation Layer에 추가적으로 레이어릅 붙이는 식으로 대응이 가능 * 플랫폼 내부에서

· 3 min read
PYMC 5 설치
Data

PYMC 5 설치

배경 * PYMC3는 Python 3.12이상의 버전과 호환이 잘 되지 않던 차에 PYMC가 있다는 것을 알게 되었다. * 설치를 하려고 하는데 에러가 꽤 많이 난다. 이에

· 1 min read
Gibbs Sampling과 MH Sampling 공통점과 차이점 정리
Data

Gibbs Sampling과 MH Sampling 공통점과 차이점 정리

공통점 * MCMC 알고리즘: 두 알고리즘 모두 마르코프 체인을 사용하여 확률 분포에서 샘플링합니다. 마르코프 체인은 과거 상태만 고려하여 다음 상태를 결정하는 확률적 모델입니다. * 베이즈 추론:

· 3 min read
Python Decorator @Propery를 이용, Overwrite를 방지할 수 있다.
Data

Python Decorator @Propery를 이용, Overwrite를 방지할 수 있다.

Property Decorator를 이용,  직접 할당을 제한하여 클래스 Attribute를  덮어쓰지 않도록 보호할 수 있다. 이는 실수로 모델이나 데이터를 Overwrite할 수 있는 가능성을 원천차단할 수 있다.

· 1 min read
Lazy Evaluation, 메모리 사용 및 계산을 최적화하기 위한 기법
Data

Lazy Evaluation, 메모리 사용 및 계산을 최적화하기 위한 기법

Lazy Evaluation * Lazy evaluation은 프로그램 실행 중에 표현식의 평가를 그 값이 실제로 필요할 때까지 미루는 기법 * 프로그램에서 표현식의 결과가 필요하지 않다면, 해당 표현식의 계산을

· 3 min read
📦 AI Model에서 AI System으로의 진화
Data

📦 AI Model에서 AI System으로의 진화

1.Compound AI System is LLM의 대중화와 함께, AI Model은 Application의 주요 요소로써 빠르게 관심을 이끌고 있다. Compound AI System은 Traditional Software와 AI Model의

· 4 min read