AI 모델이 처리하는 토큰을 비용·생산성의 기본 단위로 보고, 소비량을 추적·최적화·예산화하는 경제적 프레임워크. 토큰 단가는 2년간 280배 떨어졌지만 에이전트 시대의 사용량 폭증으로 전체 비용은 오히려 급증하면서, 토큰을 어떻게 쓰느냐가 엔지니어링의 핵심 제약이 되고 있다.
토큰은 원래 LLM이 텍스트를 처리하는 기술적 단위에 불과했다. 그런데 AI가 단순 대화를 넘어 코드를 짜고, 파일을 탐색하고, 도구를 호출하는 에이전트로 진화하면서, 토큰은 'AI가 일하는 데 드는 연산 비용'의 단위가 됐다. 젠슨 황 엔비디아 CEO는 GTC 2026에서 "연봉 7억 원짜리 엔지니어라면 3.5억 원어치 토큰은 써야 한다"고 말했다.
흥미로운 건 토큰 단가의 역설이다. GPT-4급 성능의 토큰 비용은 2년 만에 280배 떨어졌다. 그런데 기업의 AI 지출은 같은 기간 320% 늘었다. 단가가 내려가니 더 많이 쓰게 됐고, 특히 AI 에이전트가 작업 하나에 기존 챗봇 대비 5~30배 많은 토큰을 소비하면서 전체 비용은 오히려 폭증한 것이다.
개발자가 체감하는 토큰 경제학은 Claude Code 같은 코딩 에이전트에서 가장 뚜렷하다. /cost 명령으로 세션별 토큰 소비량을 확인할 수 있고, ccusage 같은 도구로 일별·월별 사용량과 예상 비용을 추적한다.
프로덕션 환경에서는 모델 라우팅이 가장 효과적인 전략이다. 단순 질문은 소형 모델로, 복잡한 추론은 프론티어 모델로 보내면 비용을 60~80% 줄일 수 있다. 프롬프트 캐싱으로 반복되는 시스템 프롬프트의 처리 비용을 90% 절감하고, 배치 추론으로 지연을 허용하는 작업의 비용을 50% 낮추는 것도 표준적인 기법이다.
Steve Yegge의 Software Survival 3.0 논의는 토큰 경제학을 소프트웨어 생태계 전체로 확장한다. 추론에는 토큰이 들고, 토큰에는 에너지가 들고, 에너지에는 돈이 든다. 이 자원 제약이 선택압을 만든다. AI 에이전트가 사용할 때 토큰을 절약해 주는 도구는 살아남고, 토큰을 낭비하게 만드는 도구는 도태된다.
토큰 비용만 쫓다 보면 정작 중요한 품질을 놓칠 수 있다. 싼 모델로 라우팅하면 비용은 줄지만 정확도가 떨어지고, 프롬프트를 지나치게 압축하면 맥락이 소실된다.