수십만~수백만 토큰을 한 번에 처리할 수 있는 LLM의 능력. 긴 코드베이스, 책 한 권, 긴 대화를 통째로 모델에 넣어 처리할 수 있게 해준다.

개념 설명

초기 GPT-3는 약 4,000 토큰 정도만 처리할 수 있어 긴 문서를 잘라야 했다. 이제 Claude는 200K, Gemini는 1M 토큰 이상을 처리한다. 롱 컨텍스트가 가능해지면서 수만 줄짜리 코드베이스를 한 번에 분석하거나, 긴 계약서 전체를 검토하거나, 수백 번의 대화 히스토리를 유지하는 것이 현실이 됐다.

사용 예시

Claude Code에서 대형 모노레포를 분석할 때 여러 파일을 컨텍스트에 한꺼번에 넣어 파일 간 의존성을 추적한다. 긴 회의록이나 문서 전체를 넣고 "3페이지에서 언급된 결정 사항만 뽑아줘"처럼 정확한 참조도 가능해졌다.