텍스트를 양방향으로 이해하도록 학습된 트랜스포머 인코더 모델. 생성보다는 이해와 분류에 특화되어, 검색·감성분석·NER 등의 기반이 됐다.

개념 설명

GPT가 왼쪽에서 오른쪽으로만 읽는다면, BERT는 문장 전체를 한꺼번에 양방향으로 바라본다. 이를 위해 문장에서 일부 단어를 가리고(Masked LM) 맞추는 방식으로 학습한다. 덕분에 "은행에 갔다"에서 '은행'이 금융기관인지 강가인지 문맥으로 파악하는 능력이 GPT보다 뛰어나다.

사용 예시

검색 시스템에서 쿼리와 문서의 의미적 유사도를 계산하거나, 텍스트 분류·감성분석 작업에 BERT를 파인튜닝해서 쓴다. RAG 파이프라인에서 임베딩 모델로 BERT 계열(e.g., sentence-transformers)을 사용해 청크를 벡터로 변환하는 것도 흔한 패턴이다.