100개 이상의 LLM을 단일 OpenAI 호환 인터페이스로 호출할 수 있는 오픈소스 라이브러리.

개념 설명

Claude, GPT, Gemini, Llama, Mistral 등 LLM마다 API 형식이 다르다. LiteLLM은 이 모든 모델을 OpenAI SDK 형식으로 통일해서, 모델 이름만 바꾸면 어떤 모델이든 호출할 수 있게 한다. 라이브러리로 코드에 직접 임베드하거나, 프록시 서버로 띄워서 팀 전체가 공유하는 게이트웨이로 쓸 수도 있다.

사용 예시

from litellm import completion을 임포트하면 completion(model="claude-opus-4-5", messages=[...])와 completion(model="gpt-4o", messages=[...])가 같은 코드 구조로 작동한다. A/B 테스트나 비용 최적화를 위해 모델을 자주 바꿔야 하는 프로젝트에 특히 유용하다.