여러 LLM 제공자를 하나의 통합 API로 묶어주는 중간 레이어. 모델을 바꿔도 코드를 수정하지 않아도 된다.

개념 설명

Claude, GPT-4, Gemini를 상황에 따라 골라 쓰고 싶은데, 각각 API 형식이 다르면 코드를 계속 수정해야 한다. LLM 게이트웨이는 모든 모델 호출을 단일 엔드포인트로 받아서 적절한 모델에 중계하는 프록시다. 로드밸런싱, 폴백, 비용 추적, 속도 제한 같은 기능도 함께 제공한다.

사용 예시

LiteLLM을 게이트웨이로 구성하면 model="claude-opus-4-5"와 model="gpt-4o"를 같은 코드 구조로 호출할 수 있다. Portkey나 Helicone 같은 서비스형 게이트웨이를 쓰면 설정 없이 대시보드에서 비용과 지연 시간을 모니터링할 수 있다.