Data

합성 데이터(Synthetic Data)에 대해서

Bongho, Lee

Bongho, Lee

— 2 min read

합성 데이터

  • AI 알고리즘을 활용해 인위적으로 생성한 데이터
  • 데이터 사용과 고객 정보 보호 규제를 위반하지 않고, AI를 개발할 수 있음

생성 방법

  • Stochastic process
  • Rule-based data generation
  • Deep generative model

생성 시 평가 기준

  • Computation
  • Human Labor
  • System Complexity
  • Information

생성 방법 별 Challenges

Rule-based data generation

  • 1) 규모가 커짐에 따라서 사람이 만든 Rule을 어떻게 대응해서 확장시킬지, 2) 그리고 사람이 하면서 자연스럽게 발생하는 편향을 어떻게 통제하고, 3) 최종 결과물을 이후 변경해 나갈 때 변경관리에 대한 방식은 여전히 문제임

Deep Generative Model

  • 1) 생성된 데이터와 기존 데이터의 유사성을 측정하고 안정적으로 유지할 수 있어야 하며, 2) 과적합으로 인해서 기존 데이터와 매우 유사해져서 개인정보 이슈가 발생할 수 있는 부분을 회피해야 하며, 3) 각 주요 Feature가 의미하는 바를 모델이 최대한 반영해서 만들 수 있도록 설계가 요구됨
|                     | Stochastic Process | Rule Based System                        | Deep Genrative Model                                       |
|---------------------|--------------------|------------------------------------------|------------------------------------------------------------|
| Computation         | Low                | Medium                                   | High                                                       |
| Human Labor         | Low                | High                                     | Low                                                        |
| System Complexity   | Low                | Medium                                   | High                                                       |
| Information Content | None               | None                                     | High                                                       |
| 사례                 | 성능부하 테스트        | 성능부하 테스트,간단한 소프트웨어 테스트 | 고급 분석, 머신러닝 모델 개발, 데이터 리텐션, 공동 연구 등 |

국내 시장규모 및 전망

  • 2020년 기준 2,481억원으로 예상되고,
  • 2024년 기준 5,752억원으로 CAGR 23.4% 예상 (중소벤처기업부 조사)

비즈니스 가치

  • 보안, 속도 스케일

해결해야 할 부분

  • 목표한대로 데이터가 만들어졌는지 검증할 수 있는 구체적이고 정교한 회사시스템 및 측정 기준의 부재
  • 문화적 저항. 예) "우리 회사에서는 안통해요", "전혀 안전해보이지 않는다" 등...

주요 핵심기술

  • 이미지 데이터 합성 기술
  • 머신러닝  학습데이터 증대 기술
  • 합성 데이터 탐지 기술
  • 데이터 비식별화 기술
  • 시계열 데이터 합성 기술

관련 회사

References

Read more

내가 놓치고 있던 미래, 먼저 온 미래를 읽고

내가 놓치고 있던 미래, 먼저 온 미래를 읽고

장강명 작가의 책은, 유학시절 읽고 처음이었다. 유학시절 "한국이 싫어서"라는 책은 동기부여가 상당히 되는 책이었다. 한국을 떠나 새로운 정채성을 학생으로서 Build up 해나가고 있던 상황에서 이 책은 제목부터 꽤 솔깃하였다. 물론 결말이 기억날 정도로 인상깊은 책은 아니었지만 말이다. 그렇게 시간이 흘러 장강명 작가의 책은 더 이상 읽지 않던

By Bongho, Lee
고객 경험이란 무엇일까?

고객 경험이란 무엇일까?

고객경험이란 무엇일까? 1. 과거 어느 대형 프로젝트에서 있던 일이다. 신사업을 위해서 예측 모델 값을 제공해야 하는 상황이었다. 데이터도 없고,어느정도의 정확도를 제공해야 하는지 답이 없었다. 점추정을 할 것인가? 구간 추정을 할 것인가를 가지고 논의중이었다. Product Manager 줄기차게 고객경험을 내세우며 점추정으로 해야 한다고 주장하였다. 근거는 오롯이 "고객 경험"이었다.

By Bongho, Lee
수요예측, 수정구슬이 아닌 목표를 향한 냉정한 나침반

수요예측, 수정구슬이 아닌 목표를 향한 냉정한 나침반

수요예측의 정의와 비즈니스에서의 중요성 기업의 성장과 운영 효율화를 위해 **수요예측(Demand Forecasting)**은 선택이 아닌 필수 요소로 자리 잡았다. 많은 경영진들이 수요예측을 미래 판매량을 정확히 맞히는 '예언'으로 기대하지만, 이는 수요예측의 본질을 오해하는 것이다. 수요예측의 진짜 의미: 미래를 점치는 수정구슬이 아니라, 우리가 도달해야 할 '목표'를

By Bongho, Lee