Data

📦 AI Model에서 AI System으로의 진화

Bongho, Lee

2024년 2월 22일 — 4 min read

1.Compound AI System is

LLM의 대중화와 함께, AI Model은 Application의 주요 요소로써 빠르게 관심을 이끌고 있다. Compound AI System은 Traditional Software와 AI Model의 결합으로써 Google의 AlphaCode 2, AlphaGeometry 등 빅테크의 LLM 모델은 Compound AI System의 효과성을 잘 보여주고 있으며, 모델과 엔지니어링의 조합을 통해서 보다 나은 성과를 만들 수도 있음을 보여주고 있다.

2.Why Use Compound AI Systems?

일부 작업은 굳이 Model보다는 시스템 개선을 통해서 하는 것이 더 쉬울 수 있다.
모델은 정적 데이터로 훈련이 되기 때문에 보다 다양한 동적 요소를 결합하기 위해서는 Model을 넘어 Traditional Software 관점에서 설계 고려가 필요하다.
System을 잘 활용하면 Controllability와 신뢰도를 높이는데 더 적합하다. AI 모델은 불확실성을 가지고 있다.
성과 목표는 매우 다양하고 관련 매개변수를 변경해야 하는 경우는 많기 때문에 모델과 시스템의 적절한 결합이 운용하기 나을 수 있다.

3.Developing Compound AI Systems

Compound AI System은 Traditional Software와 AI Model의 결합
어디까지 모델로 하고, 어디까지를 Software관점에서 커버해야할지에 대한 고민 필요

4.Key Challenges in Compound AI Systems

Design Space

여러 기술들을 종합적으로 활용해야 하기 때문에 개발시 고려해야할 요소가 매우 많음
제한된 리소스 내에서 Latency등을 요소별로 잘 배분해야 함

Optimization

다양한 요소들이 결합된 시스템 내에서의 리소스 및 성능 최적화 이슈
DSPy 는 LLM파이프라인을 위한 Optimizer를 제공

Operation

기존 하나의 모델을 운용하고 트래킹하는 것대비 훨씬 복잡한 시스템을 운용하기 위해서는 다음과 같은 문제를 해결해야할 필요가 있음
- 모니터링: 시스템 복잡도와 맞물려 어떻게 효과적으로 로깅하고, 분석하고 디버깅할 것인지 전략 필요
- DataOps: 데이터 서빙을 위한 다양한 시스템과 데이터의 품질, 그리고 파이프라인을 어떻게 관리할 것인인가에 대한 고민 필요
- 보안: 시스템의 복잡도와 맞물려 더 많은 보안 이슈 노출 가능성 있음

5.Emerging Paradigms

위에서 언급한 Challenge를 해결하기 위해서 다음과 같은 방식들이 현재 부상하고 있음

Designing AI Systems: Composition Frameworks and Strategies

개발자는 “language model programming” framework을 이용해서 AI Model과 외부 시스템을 결합하고 있음
이 때사용하는 요소들은 LangChain LlamaIndex 외에도 AutoGPT, BabyAGI , Guardrails, Outlines, LMQL ,SGLang등이 있음
이외에도 chain-of-thought, self-consistency, WikiChat, RAG 등을 이용해서 다양한 AI 시스템 디자인 전략을 구성해내고 있음

Automatically Optimizing Quality: DSPy

DSPy 는 학계에서 나온 Compound AI System 최적화 관련 처음 등장한 framework
LLM을 활용해서 자연어 기반으로 각 모듈을 구체화하고 죄적화할 수 있도록 제공

Optimizing Cost: FrugalGPT and AI Gateways

FrugalGPT 최소 비용으로 최적의 효과를 낼 수 있는 모델 조합을 찾아내기 위한 Framework 활용
Frugal GPT는 Databricks AI Gateway, OpenRouter, Martian 솔루션에 AI 어플리케이션의 각 구성요소를 최적화하기 위한 목적으로 활용 됨

Operation: LLMOps and DataOps

모든 단계 별 출력에 대한 모니터링 필요
LangSmith, Phoenix Traces, Databricks Inference Table등의 솔루션이 필요할 수 있음
학계에서는 DSPy Assertions적용 등을 고려해볼 수 있음
MT-Bench, FAVA , ARES등의 AI 기반 품질 평가 방법론 등을 통해서 품질 모니터링 자동화 적용 가능

6. References

The Shift from Models to Compound AI Systems

[책] 생각하는 기계 - ‘황의 분노’와 OIALO, 한 엔지니어의 눈으로 본 리더의 두 얼굴

처음 “생각하는 기계“라는 제목을 보았을 때, 젠슨황을 일컫는 말인 줄알았다. 보통은 유명할지라도 자서전을 읽는 것 자체를 그리 좋아하지는 않는 편이다. 그런데 누군가 이 책에 대해 평하길 “AI의 역사를 지근거리에서 볼 수 있다”라고 한 것을 보았다. 그래서 읽게 되었다. AI의 거대한 흐름을 기술의 관점으로는 지속해서 보고 있지만 구체적으로 왜

[책]Reshuffle: Who wins when AI restacks the knowledge economy

원래는 Amazon에 가서 Personal Knowledge Managment에 관한 책을 사려고 했다. Sketch Your Mind라는 책이었는데, 그 때 이 책 “Reshuffle”을 발견하였다. AI가 어떻게 Knowledge Economy를 흔들 것가? 라는 부제를 훑어보면서 저자가 쓴 다른 책을 보게 되었는데 거기에 내가 좋아했던 책을쓴 저자라는 것을 알게 되었다. 그래서 크게 고민하지 않고 구매를 하고

[책]올라운드투자, 누군가의 투자일기

“올라운드 투자”라는 제목을 보았을 때는, “올라운드 플레이어”가 생각이 났다. “올라운드”라는 표현을 오랜만에 들어본 까닭이었다. 그럼에도 불구하고 이 책을 고른 것은 저자가 그간 보여준 컨텐츠에 대한 신뢰가 있던 까닭이었다. 컨텐츠를 다양하게 보는 편이지만 깊이가 아주 있지는 않았다. 여기서 깊이라 함은 기존 전문적인 정량적 분석의 내용의 수준을 말하는 것이다.

내가 놓치고 있던 미래, 먼저 온 미래를 읽고

장강명 작가의 책은, 유학시절 읽고 처음이었다. 유학시절 "한국이 싫어서"라는 책은 동기부여가 상당히 되는 책이었다. 한국을 떠나 새로운 정채성을 학생으로서 Build up 해나가고 있던 상황에서 이 책은 제목부터 꽤 솔깃하였다. 물론 결말이 기억날 정도로 인상깊은 책은 아니었지만 말이다. 그렇게 시간이 흘러 장강명 작가의 책은 더 이상 읽지 않던