LLM 애플리케이션의 내부 동작을 추적하고 이해할 수 있게 하는 시스템. 프롬프트·응답 로그, 체인 실행 추적, 성능 메트릭을 수집해 문제를 진단한다.

개념 설명

LLM 앱은 블랙박스다. 같은 입력에도 결과가 다르고, 복잡한 에이전트 체인에서 무엇이 잘못됐는지 알기 어렵다. LLM 옵저버빌리티는 모든 LLM 호출의 입출력, 지연, 비용, 에러를 로깅하고, 멀티스텝 에이전트 실행을 트리 구조로 시각화한다. 특정 응답이 왜 나왔는지 역추적할 수 있다.

OpenTelemetry를 LLM 트레이싱에 표준으로 확장한 OpenInference나 OTLP 기반 도구들이 나오고 있다. LangSmith, Langfuse, Arize Phoenix가 대표 도구다.

사용 예시

Langfuse를 LangChain 앱에 콜백으로 추가하면 에이전트의 전체 실행 과정이 트레이스로 기록된다. "이 사용자의 대화에서 어떤 프롬프트가 사용됐고, 각 LLM 호출이 몇 ms 걸렸으며, 토큰 비용은 얼마인가"를 한눈에 볼 수 있다.