자연어로 사용자와 대화하며 질문에 답하고 업무를 처리하는 AI 인터페이스. LLM 기반으로 바뀌면서 스크립트 답변이 아닌 맥락을 이해하는 대화가 가능해졌다.

챗봇의 진화

과거 챗봇은 "환불 원해요" → "환불 절차를 안내드립니다"처럼 키워드에 매칭된 스크립트를 재생하는 수준이었다. LLM 기반 챗봇은 대화의 맥락을 이해하고, 이전에 말한 내용을 기억하며, 정해진 스크립트에 없는 질문에도 유연하게 대응한다.

사용 예시

가장 빠르게 만드는 방법은 Claude나 GPT API에 시스템 프롬프트로 역할을 정의하고 대화 루프를 구현하는 것이다. RAG를 붙이면 자체 문서 기반으로 답하는 고객 지원 챗봇이 되고, 도구 사용을 연결하면 주문 조회나 예약 같은 실제 작업까지 수행하는 에이전트형 챗봇이 된다.

LangChain이나 Streamlit으로 빠르게 프로토타입을 만들 수 있고, Vercel AI SDK로 웹에 배포하는 것도 간단하다. 중요한 건 복잡하거나 감정적인 문제에서 사람에게 넘기는 휴먼 핸드오프 구조를 함께 설계하는 것이다.