개발한 Agent를 Production 환경에 배포하기 위해서는 여러 가지 중요한 요소들을 고려해야 합니다. 다양한 Agent 개발 Framework이 존재하지만, 메모리 기반 처리 방식, LLM 추론 과정 추적의 부재 등으로 실제 Production 환경에 배포하기 어려운 문제들이 많습니다. 이러한 문제는 전통적인 ML 시스템에서도 발생한 문제였으며, 이를 해결하기 위해 MLOps의 필요성이 강조되었습니다. 데이터브릭스는 이를 Data+AI 통합 접근법을 통해 효과적인 MLOps 솔루션을 제시하였습니다. Agent의 등장으로 유사한 문제가 재차 발생하였고, 이를 해결하기 위한 LLMOps의 필요성이 다시 주목받고 있습니다. 본 발표에서는 데이터브릭스가 이러한 문제들을 어떻게 해결할 수 있는지에 대해 소개하겠습니다.