한 태스크에서 학습한 지식을 다른 태스크에 재사용하는 머신러닝 방법론. 현대 LLM의 "사전학습 → 파인튜닝" 패러다임 전체가 전이 학습의 응용이다.

개념 설명

수백만 장의 이미지로 학습한 모델이 물체의 엣지, 색상, 형태를 인식하는 법을 배웠다면, 그 지식을 의료 X-ray 분류에 재사용할 수 있다. 처음부터 다시 배울 필요가 없다. 이것이 전이 학습의 핵심이다. LLM에서는 대규모 텍스트로 언어 구조와 세상 지식을 습득한 사전학습 모델을 특정 도메인이나 태스크에 맞게 파인튜닝하는 모든 과정이 전이 학습이다.

전이가 잘 되려면 원본 도메인과 목표 도메인이 충분히 유사해야 한다. 영어로만 사전학습된 모델은 한국어 태스크로의 전이가 제한적이다.

사용 예시

일반 대화용으로 사전학습된 Llama를 의료 문서 Q&A에 파인튜닝하거나, 코드 생성 모델을 특정 프레임워크 전용으로 추가 학습하는 것이 전이 학습의 전형적 활용이다. LoRA를 쓰면 사전학습된 표현을 손상시키지 않으면서 새 태스크에 적응시킬 수 있다.