LLM이 다음 토큰을 선택할 때 확률 분포의 날카로움을 조절하는 파라미터. 낮으면 예측 가능하고 정확하게, 높으면 다양하고 창의적으로 응답한다.
LLM은 각 토큰의 확률을 계산한 뒤 그 분포에서 샘플링한다. Temperature는 이 분포를 조절한다. T=0에 가까우면 항상 가장 높은 확률의 토큰을 고르는 Greedy Decoding과 같아진다. T=1은 모델이 계산한 확률 그대로 샘플링한다. T>1이면 낮은 확률의 토큰도 선택될 여지가 커져 더 다양하고 예상치 못한 결과가 나온다.
Temperature와 함께 Top-p(nucleus sampling)나 Top-k 샘플링도 자주 함께 사용된다. Top-p는 누적 확률 p를 넘는 후보 중에서만 샘플링해 낮은 확률의 희귀 토큰을 방지한다.
Claude나 OpenAI API 호출 시 temperature 파라미터로 직접 제어할 수 있다. 코드 생성이나 사실 질문에는 0~0.3, 창의적 글쓰기에는 0.7~1.0이 일반적이다. 동일한 프롬프트를 여러 번 실행해 다양한 결과를 얻고 싶다면 Temperature를 높이고, 일관된 결과가 중요하다면 낮춘다.