LLM 기반 애플리케이션의 개발·배포·모니터링을 위한 운영 방법론. 프롬프트 버전 관리, LLM 평가, 비용 추적 등 LLM 특유의 과제를 다룬다.

개념 설명

전통적인 MLOps는 모델 가중치와 학습 파이프라인을 관리하지만, LLM 애플리케이션에서는 프롬프트 자체가 소프트웨어다. 프롬프트 한 줄을 바꾸면 전체 동작이 달라진다. LLMOps는 이 프롬프트의 버전 관리, A/B 테스트, 성능 평가를 체계화한다. 응답 지연, 토큰 비용, 오류율 모니터링도 LLMOps의 핵심이다.

LangSmith, Langfuse, Phoenix(Arize), Helicone이 대표적인 LLMOps 도구다. 대화 로그 저장, 트레이스 추적, 자동 평가 파이프라인을 제공한다.

사용 예시

LangSmith에 LangChain 앱을 연결하면 모든 LLM 호출의 입출력, 지연, 비용이 자동으로 추적된다. 프롬프트 변경 전후로 동일한 테스트셋을 실행해 품질 저하 여부를 확인하고, 특정 기준 미달 응답에 태그를 달아 이슈를 관리한다.