LLM 애플리케이션의 실행 흐름을 추적하고 품질을 측정하는 오픈소스 관측성 플랫폼.

개념 설명

LLM 앱이 프로덕션에 나가면 어떤 프롬프트가 잘 작동하는지, 어디서 오류가 나는지, 비용이 얼마나 드는지 파악하기 어렵다. Langfuse는 각 LLM 호출, 에이전트 단계, 툴 사용을 트레이스로 기록하고 시각화해주는 오픈소스 플랫폼이다. LangSmith와 비슷한 역할을 하지만 완전 오픈소스이고 셀프호스팅이 가능하다는 점이 다르다.

사용 예시

LangChain 또는 직접 구현한 LLM 파이프라인에 Langfuse SDK를 붙이면, 각 호출의 입출력, 토큰 수, 비용, 지연 시간이 자동으로 기록된다. 대시보드에서 특정 프롬프트 버전별 성능을 비교하거나 사용자별 대화 흐름을 추적할 수 있다.