모델 규모가 특정 임계치를 넘어서면 이전에 없던 능력이 갑자기 나타나는 현상. 산술 계산, 다단계 추론 등이 소형 모델에서는 전혀 안 되다가 대형 모델에서 갑자기 가능해진다.

개념 설명

작은 모델을 크게 만들면 성능이 꾸준히 좋아지는 게 아니라, 어떤 능력은 특정 크기 이전에는 거의 0이다가 임계치를 넘으면 갑자기 가능해진다. 이 현상을 창발적 능력이라 한다. 2022년 Google의 Wei 등이 체계적으로 정리했다. 멀티스텝 수학 문제, 코드 생성, 번역 등에서 이런 현상이 관찰됐다.

다만 이후 연구들은 이 현상이 평가 지표의 특성(이산적 채점 방식)에 의한 착시일 수 있다고 반박하기도 한다. 연속적인 지표로 측정하면 점진적 향상이 보인다는 것이다. 현재도 학계에서 논쟁 중인 주제다.

사용 예시

실무에서는 소형 모델로 실험하다가 기대 성능이 나오지 않을 때, 모델 크기 자체가 문제일 수 있다는 판단 근거로 활용된다. 특히 복잡한 추론이나 다단계 태스크에서 7B 모델이 실패할 때 70B로 교체하면 갑자기 풀리는 경험이 창발적 능력의 실례다.