입력-출력 쌍으로 이루어진 라벨된 데이터로 사전학습 모델을 추가 학습하는 방법. RLHF나 DPO 이전 단계로, 모델이 원하는 형식과 스타일로 응답하도록 가르친다.

개념 설명

사전학습 모델은 언어를 알지만 지시를 따르는 법은 모른다. SFT는 "질문 → 좋은 답변" 쌍 수천~수십만 개로 모델을 학습시켜 응답 형식, 언어 스타일, 특정 도메인 지식을 주입한다. 크로스 엔트로피 손실로 학습하는 가장 표준적인 파인튜닝 방식이다.

인스트럭션 튜닝이 SFT의 대표적 활용이다. RLHF 파이프라인에서는 SFT 모델이 기준점(reference model)이 되어 이후 강화학습 단계를 안정화한다. 고품질 데이터가 수량보다 중요하다는 것이 반복적으로 확인됐다.

사용 예시

trl의 SFTTrainer를 쓰면 HuggingFace 데이터셋 형식의 대화 데이터로 빠르게 SFT를 시작할 수 있다. LoRA와 결합해 작은 리소스로 수행하는 것이 일반적이다. 회사 내부 스타일 가이드, Q&A 형식, 특수 출력 포맷을 모델에 가르치는 데 효과적이다.