Data

합성 데이터(Synthetic Data)에 대해서

Bongho, Lee

Bongho, Lee

— 2 min read

합성 데이터

  • AI 알고리즘을 활용해 인위적으로 생성한 데이터
  • 데이터 사용과 고객 정보 보호 규제를 위반하지 않고, AI를 개발할 수 있음

생성 방법

  • Stochastic process
  • Rule-based data generation
  • Deep generative model

생성 시 평가 기준

  • Computation
  • Human Labor
  • System Complexity
  • Information

생성 방법 별 Challenges

Rule-based data generation

  • 1) 규모가 커짐에 따라서 사람이 만든 Rule을 어떻게 대응해서 확장시킬지, 2) 그리고 사람이 하면서 자연스럽게 발생하는 편향을 어떻게 통제하고, 3) 최종 결과물을 이후 변경해 나갈 때 변경관리에 대한 방식은 여전히 문제임

Deep Generative Model

  • 1) 생성된 데이터와 기존 데이터의 유사성을 측정하고 안정적으로 유지할 수 있어야 하며, 2) 과적합으로 인해서 기존 데이터와 매우 유사해져서 개인정보 이슈가 발생할 수 있는 부분을 회피해야 하며, 3) 각 주요 Feature가 의미하는 바를 모델이 최대한 반영해서 만들 수 있도록 설계가 요구됨
|                     | Stochastic Process | Rule Based System                        | Deep Genrative Model                                       |
|---------------------|--------------------|------------------------------------------|------------------------------------------------------------|
| Computation         | Low                | Medium                                   | High                                                       |
| Human Labor         | Low                | High                                     | Low                                                        |
| System Complexity   | Low                | Medium                                   | High                                                       |
| Information Content | None               | None                                     | High                                                       |
| 사례                 | 성능부하 테스트        | 성능부하 테스트,간단한 소프트웨어 테스트 | 고급 분석, 머신러닝 모델 개발, 데이터 리텐션, 공동 연구 등 |

국내 시장규모 및 전망

  • 2020년 기준 2,481억원으로 예상되고,
  • 2024년 기준 5,752억원으로 CAGR 23.4% 예상 (중소벤처기업부 조사)

비즈니스 가치

  • 보안, 속도 스케일

해결해야 할 부분

  • 목표한대로 데이터가 만들어졌는지 검증할 수 있는 구체적이고 정교한 회사시스템 및 측정 기준의 부재
  • 문화적 저항. 예) "우리 회사에서는 안통해요", "전혀 안전해보이지 않는다" 등...

주요 핵심기술

  • 이미지 데이터 합성 기술
  • 머신러닝  학습데이터 증대 기술
  • 합성 데이터 탐지 기술
  • 데이터 비식별화 기술
  • 시계열 데이터 합성 기술

관련 회사

References

Read more

[책] 생각하는 기계 - ‘황의 분노’와 OIALO, 한 엔지니어의 눈으로 본 리더의 두 얼굴

[책] 생각하는 기계 - ‘황의 분노’와 OIALO, 한 엔지니어의 눈으로 본 리더의 두 얼굴

처음 “생각하는 기계“라는 제목을 보았을 때, 젠슨황을 일컫는 말인 줄알았다. 보통은 유명할지라도 자서전을 읽는 것 자체를 그리 좋아하지는 않는 편이다. 그런데 누군가 이 책에 대해 평하길 “AI의 역사를 지근거리에서 볼 수 있다”라고 한 것을 보았다. 그래서 읽게 되었다. AI의 거대한 흐름을 기술의 관점으로는 지속해서 보고 있지만 구체적으로 왜

By Bongho, Lee
[책]Reshuffle: Who wins when AI restacks the knowledge economy

[책]Reshuffle: Who wins when AI restacks the knowledge economy

원래는 Amazon에 가서 Personal Knowledge Managment에 관한 책을 사려고 했다. Sketch Your Mind라는 책이었는데, 그 때 이 책 “Reshuffle”을 발견하였다. AI가 어떻게 Knowledge Economy를 흔들 것가? 라는 부제를 훑어보면서 저자가 쓴 다른 책을 보게 되었는데 거기에 내가 좋아했던 책을쓴 저자라는 것을 알게 되었다. 그래서 크게 고민하지 않고 구매를 하고

By Bongho, Lee
[책]올라운드투자, 누군가의 투자일기

[책]올라운드투자, 누군가의 투자일기

“올라운드 투자”라는 제목을 보았을 때는, “올라운드 플레이어”가 생각이 났다. “올라운드”라는 표현을 오랜만에 들어본 까닭이었다. 그럼에도 불구하고 이 책을 고른 것은 저자가 그간 보여준 컨텐츠에 대한 신뢰가 있던 까닭이었다. 컨텐츠를 다양하게 보는 편이지만 깊이가 아주 있지는 않았다. 여기서 깊이라 함은 기존 전문적인 정량적 분석의 내용의 수준을 말하는 것이다.

By Bongho, Lee
내가 놓치고 있던 미래, 먼저 온 미래를 읽고

내가 놓치고 있던 미래, 먼저 온 미래를 읽고

장강명 작가의 책은, 유학시절 읽고 처음이었다. 유학시절 "한국이 싫어서"라는 책은 동기부여가 상당히 되는 책이었다. 한국을 떠나 새로운 정채성을 학생으로서 Build up 해나가고 있던 상황에서 이 책은 제목부터 꽤 솔깃하였다. 물론 결말이 기억날 정도로 인상깊은 책은 아니었지만 말이다. 그렇게 시간이 흘러 장강명 작가의 책은 더 이상 읽지 않던

By Bongho, Lee