📦 AI Model에서 AI System으로의 진화

1.Compound AI System is

LLM의 대중화와 함께, AI Model은 Application의 주요 요소로써 빠르게 관심을 이끌고 있다. Compound AI System은 Traditional Software와 AI Model의 결합으로써 Google의 AlphaCode 2,  AlphaGeometry 등 빅테크의 LLM 모델은 Compound AI System의 효과성을 잘 보여주고 있으며, 모델과 엔지니어링의 조합을 통해서 보다 나은 성과를 만들 수도 있음을 보여주고 있다.

2.Why Use Compound AI Systems?

• 일부 작업은 굳이 Model보다는 시스템 개선을 통해서 하는 것이 더 쉬울 수 있다.
• 모델은 정적 데이터로 훈련이 되기 때문에 보다 다양한 동적 요소를 결합하기 위해서는 Model을 넘어 Traditional Software 관점에서 설계 고려가 필요하다.
• System을 잘 활용하면 Controllability와 신뢰도를 높이는데 더 적합하다. AI 모델은 불확실성을 가지고 있다.
• 성과 목표는 매우 다양하고 관련 매개변수를 변경해야 하는 경우는 많기 때문에 모델과 시스템의 적절한 결합이 운용하기 나을 수 있다.

3.Developing Compound AI Systems

• Compound AI System은 Traditional Software와 AI Model의 결합
• 어디까지 모델로 하고, 어디까지를 Software관점에서 커버해야할지에 대한 고민 필요

4.Key Challenges in Compound AI Systems

Design Space

• 여러 기술들을 종합적으로 활용해야 하기 때문에 개발시 고려해야할 요소가 매우 많음
• 제한된 리소스 내에서 Latency등을 요소별로 잘 배분해야 함

Optimization

• 다양한 요소들이 결합된 시스템 내에서의 리소스 및 성능 최적화 이슈
• DSPy 는 LLM파이프라인을 위한 Optimizer를 제공

Operation

• 기존 하나의 모델을 운용하고 트래킹하는 것대비 훨씬 복잡한 시스템을 운용하기 위해서는 다음과 같은 문제를 해결해야할 필요가 있음
  • 모니터링: 시스템 복잡도와 맞물려 어떻게 효과적으로 로깅하고, 분석하고 디버깅할 것인지 전략 필요
  • DataOps: 데이터 서빙을 위한 다양한 시스템과 데이터의 품질, 그리고 파이프라인을 어떻게 관리할 것인인가에 대한 고민 필요
  • 보안: 시스템의 복잡도와 맞물려 더 많은 보안 이슈 노출 가능성 있음

5.Emerging Paradigms

위에서 언급한 Challenge를 해결하기 위해서 다음과 같은 방식들이 현재 부상하고 있음

Designing AI Systems: Composition Frameworks and Strategies

• 개발자는 “language model programming” framework을 이용해서 AI Model과 외부 시스템을 결합하고 있음
• 이 때사용하는 요소들은 LangChain  LlamaIndex 외에도  AutoGPT,  BabyAGI ,  Guardrails, Outlines, LMQL ,SGLang등이 있음
• 이외에도  chain-of-thought, self-consistency, WikiChat, RAG 등을 이용해서 다양한 AI 시스템 디자인 전략을 구성해내고 있음

Automatically Optimizing Quality: DSPy

• DSPy 는 학계에서 나온 Compound AI System 최적화 관련 처음 등장한 framework
• LLM을 활용해서 자연어 기반으로 각 모듈을 구체화하고 죄적화할 수 있도록 제공

Optimizing Cost: FrugalGPT and AI Gateways

• FrugalGPT 최소 비용으로 최적의 효과를 낼 수 있는 모델 조합을 찾아내기 위한 Framework 활용
• Frugal GPT는  Databricks AI Gateway, OpenRouter,  Martian 솔루션에 AI 어플리케이션의 각 구성요소를 최적화하기 위한 목적으로 활용 됨

Operation: LLMOps and DataOps

• 모든 단계 별 출력에 대한 모니터링 필요
• LangSmith, Phoenix Traces, Databricks Inference Table등의 솔루션이 필요할 수 있음
• 학계에서는 DSPy Assertions적용 등을 고려해볼 수 있음
• MT-Bench, FAVA , ARES등의 AI 기반 품질 평가 방법론 등을 통해서 품질 모니터링 자동화 적용 가능

6. References

• The Shift from Models to Compound AI Systems