요청의 복잡도와 특성에 따라 가장 적합한 LLM 모델을 자동으로 선택해 전달하는 시스템.
"모든 요청을 GPT-4o로 처리하면 비용이 너무 크고, 모두 작은 모델로 처리하면 품질이 떨어진다"는 딜레마를 해결하는 것이 모델 라우터다. 간단한 질문은 빠르고 저렴한 모델로, 복잡한 추론이 필요한 요청은 강력한 모델로 자동 분류해서 보낸다. 비용과 품질 사이의 균형을 시스템 수준에서 관리한다.
Martian, RouteLLM 같은 도구를 쓰면 요청 복잡도를 분류하는 작은 분류 모델이 앞단에서 판단해 적절한 모델로 보내준다. LiteLLM 라우터를 구성해 "토큰 200개 이하는 haiku, 이상은 sonnet, 코딩 관련은 claude-code"처럼 규칙 기반으로 라우팅할 수도 있다.