임베딩 벡터를 저장하고, 수백만 개 중에서 가장 유사한 항목을 밀리초 단위로 찾아주는 전문 데이터베이스. RAG의 검색 엔진 역할을 한다.
일반 데이터베이스는 "이름이 정확히 '홍길동'인 행"을 찾는 데 최적화되어 있다. 벡터 DB는 "이 벡터와 가장 비슷한 벡터 10개"를 찾는 데 최적화되어 있다. HNSW나 IVF 같은 근사 최근접 이웃(ANN) 알고리즘으로 수십억 벡터에서도 밀리초 안에 결과를 반환한다.
RAG를 구축할 때 문서 임베딩을 저장하는 저장소로 쓴다. Pinecone은 완전 관리형으로 인프라 부담 없이 시작할 수 있고, Chroma는 로컬에서 바로 쓸 수 있어 프로토타입에 좋고, Weaviate는 키워드 검색과 벡터 검색을 결합한 하이브리드 검색이 강점이다.
로컬 개발이라면 Chroma를 pip install로 설치해서 바로 시작할 수 있다. 프로덕션으로 갈 때 Pinecone이나 Weaviate 클라우드로 옮기는 패턴이 일반적이다.