신경망에서 예측 오차를 출력층에서 입력층 방향으로 전파해서 각 파라미터의 기여도를 계산하는 알고리즘. 딥러닝 학습의 핵심 메커니즘이다.

개념 설명

신경망에서 예측이 틀렸을 때, "어느 가중치가 얼마나 책임이 있는가"를 계산해야 수정할 수 있다. 역전파는 연쇄법칙(chain rule)을 이용해서 출력의 오차를 거꾸로 전파하며 각 가중치의 기울기를 계산한다. 앞으로 가는 순전파(forward pass)와 뒤로 가는 역전파(backward pass)가 한 쌍으로 학습 과정을 이룬다.

사용 예시

PyTorch에서 loss.backward()를 호출하면 역전파가 자동으로 실행된다. 자동 미분(Autograd) 덕분에 개발자가 직접 기울기를 계산할 필요가 없다. 그래디언트 소실(Gradient Vanishing) 문제는 깊은 신경망에서 역전파 과정에서 기울기가 점점 작아져서 앞쪽 레이어가 학습이 안 되는 현상인데, ReLU 활성화 함수와 정규화 레이어(Batch Norm)로 완화한다.