LangChain이 만든 LLM 앱 디버깅·테스트·모니터링 플랫폼. LangChain 파이프라인과 자연스럽게 연동된다.
LLM 앱을 개발하다 보면 "왜 이 프롬프트에서 이상한 답이 나왔지?"를 추적하기 어렵다. LangSmith는 LangChain 파이프라인의 모든 단계를 자동으로 기록해서, 어떤 입력이 들어가고 어떤 출력이 나왔는지 단계별로 들여다볼 수 있게 한다. 테스트 데이터셋으로 파이프라인을 평가하는 기능도 제공해서 회귀 테스트에 활용할 수 있다.
환경변수에 LANGCHAIN_TRACING_V2=true와 API 키를 설정하면 LangChain 코드에 별도 변경 없이 LangSmith 대시보드에 모든 호출이 기록된다. 운영 중 발생한 이상 케이스를 데이터셋에 추가하고, 프롬프트를 수정할 때마다 동일 데이터셋으로 비교 실험할 수 있다.