LLM 앱의 각 실행 단계를 기록해서 어떤 일이 일어났는지 추적하는 것. 복잡한 에이전트 파이프라인 디버깅에 필수다.

개념 설명

LLM 앱이 여러 단계를 거치면 최종 출력이 왜 그렇게 나왔는지 파악하기 어렵다. 트레이싱은 분산 시스템 디버깅에서 가져온 개념으로, 각 LLM 호출, 툴 실행, 에이전트 단계를 "스팬"으로 기록하고 전체 실행 흐름을 트리 구조로 시각화한다. 지연 시간, 토큰 비용, 오류 위치를 한눈에 파악할 수 있다.

사용 예시

에이전트가 5단계를 거쳐 답변을 만드는데 결과가 이상하다면, 트레이싱 대시보드에서 각 단계의 입출력을 펼쳐보면 어느 단계에서 잘못됐는지 바로 알 수 있다. OpenTelemetry 표준을 쓰거나 Langfuse, LangSmith, Helicone 같은 서비스를 붙이면 된다.