사전 학습된 모델을 특정 도메인 데이터로 추가 학습시키는 기법. LoRA 덕분에 GPU 한 장으로도 가능해져서 접근성이 크게 낮아졌다.

파인튜닝이란

범용 LLM은 모든 걸 조금씩 알지만, 특정 분야에서는 전문가 수준이 아닐 수 있다. 파인튜닝은 해당 도메인의 데이터로 모델을 추가 학습시켜 전문성을 높이는 과정이다. 프롬프트 엔지니어링으로 해결 안 되는 수준의 도메인 특화가 필요할 때 쓴다.

사용 예시

OpenAI, AWS Bedrock, Google Vertex AI가 관리형 파인튜닝 서비스를 제공한다. 학습 데이터를 JSONL로 준비해서 업로드하면 클라우드에서 파인튜닝이 진행된다. 직접 하려면 Hugging Face의 transformers + peft 라이브러리로 LoRA 파인튜닝을 할 수 있다.

LoRA는 전체 파라미터의 0.1~1%만 학습하면서 풀 파인튜닝에 근접한 성능을 낸다. QLoRA는 4비트 양자화까지 적용해서 소비자용 GPU 한 장으로도 파인튜닝할 수 있게 했다.

주의할 점

파인튜닝은 프롬프트 엔지니어링이나 RAG로 해결이 안 될 때 마지막으로 고려하는 게 좋다. 데이터 준비 비용이 크고, 모델 업데이트 시 다시 학습해야 하기 때문이다.