절차

1. 문제 정의
   1. 요구질문 명확히 하기
   2. 사용자 시나리오 정리 및 비즈니스 목표 정의
   3. 요구사항 및 제약사항 정리
   4. 데이터 현황 및 소스 확인하기
   5. 모델 기준 문제 구체화
2. 수치 정의
   • 오프라인: 모델 자체의 성능 관점 메트릭이나 인프라 비용 측면
     • Classification metrics
     • Retrieval and ranking metrics
     • Regression metrics: MSE, MAE,
     • Problem specific metrics
     • Latency
     • Computational cost (in particular for on-device)
   • 온라인: 비즈니스 관련 메트릭
     • CTR
     • Task/session success/failure rate,
     • Task/session total (e.g. watch) times,
     • Engagement rate (like rate, comment rate)
     • Conversion rate
     • Revenue lift
     • Reciprocal rank of first click, etc,
     • Counter metrics: direct negative feedback (hide, report)
   • 메트릭간 TRADE-OFF
3. 아키텍처 정의
   1. 추상화된 최상위 아키텍처 정의
      1. 백엔드 등 ML과 간접적으로 연관된 전후 관련 아키텍처 요소
      2. ML 관련 요소
   2. ML 관련 아키텍처
4. 데이터 수집 및 준비
   1. 필요한 데이터의 소스 및 가공필요 요소 파악
   2. 데이터 저장에 필요한 공간 확보
   3. 데이터 타입 및 레이블 체크
5. 피쳐 엔지니어링
   1. 피쳐 선택 및 사용방식 체크
   2. 전처리
      1. Missing Variable 등
6. 모델 개발 및 오프라인 평가
   1. 모델 선택
   2. 데이터셋 구축
   3. 훈련 및 평가 + 튜닝
7. 예측치 확인
8. 온라인 테스팅 및 배포 완료
   1. A/B테스트
   2. 배포 완료
9. . 스케일링, 모니터링 및 모델 업데이트
   1. 스케일링 관련 필요 요소 파악
   2. 모니터링
   3. 모델 재학습 및 재배포

Reference

• https://github.com/alirezadir/Machine-Learning-Interviews/blob/main/src/MLSD/ml-system-design.md