인프라
컨텍스트 윈도우
Context Window

LLM이 한 번에 처리할 수 있는 최대 토큰 수. 모델이 동시에 볼 수 있는 정보량의 상한선으로, 이 범위를 벗어난 내용은 참조할 수 없다.

컨텍스트 윈도우란

대화의 모든 입력과 출력을 합친 토큰 수가 윈도우를 초과하면, 이전 내용은 처리 대상에서 벗어난다. 책을 읽는데 한 번에 볼 수 있는 페이지 수가 정해져 있는 것과 같다. 2026년 현재 Claude는 100만 토큰(소설 약 10권), Gemini도 100만 토큰을 지원한다.

사용 예시

Claude Code에서 큰 코드베이스를 다룰 때 컨텍스트 윈도우가 직접적으로 체감된다. 윈도우가 클수록 더 많은 파일을 동시에 읽고 맥락을 유지할 수 있다. 대화가 길어져 윈도우 한계에 가까워지면 이전 메시지가 자동으로 압축된다.

한계를 우회하는 전략도 있다. RAG로 필요한 정보만 검색해서 넣거나, 멀티에이전트로 서브에이전트에 작업을 분배하면 각 에이전트가 독립적인 컨텍스트를 가져서 전체적으로 더 많은 정보를 처리할 수 있다.

주의할 점

윈도우가 크다고 모든 내용을 동등하게 처리하는 건 아니다. 모델이 중간 부분에 덜 집중하는 Lost in the Middle 현상이 있어서, 중요한 정보는 앞이나 뒤에 배치하는 게 좋다.

#토큰#제한
← AI Wiki에서 더 보기