모델 가중치가 공개되어 누구나 다운로드해서 로컬에서 실행하고 수정할 수 있는 대규모 언어 모델. 상용 API에 의존하지 않고 자체 인프라에서 AI를 운영할 수 있게 해준다.
GPT나 Claude 같은 상용 모델은 API로만 접근할 수 있지만, 오픈소스 LLM은 가중치를 다운로드해서 자기 컴퓨터에서 직접 돌릴 수 있다. Meta의 Llama, DeepSeek, 알리바바의 Qwen, Mistral 등이 대표적이다. 2023년 Llama 1 공개를 기점으로 생태계가 폭발적으로 성장했다.
Ollama를 설치하고 ollama run llama3을 실행하면 로컬에서 LLM이 바로 돌아간다. LM Studio는 GUI로 모델을 관리하고 테스트할 수 있다. 회사 내부 데이터를 외부 API로 보내지 않고 자체 서버에서 RAG를 구축하거나, 파인튜닝해서 도메인 특화 모델을 만드는 데 주로 쓰인다. 2026년 기준 7B 모델이 2년 전 70B 모델 성능을 넘어서면서, 일반 노트북에서도 실용적인 AI를 돌리는 게 가능해졌다.
Llama(Meta)는 가장 큰 커뮤니티, DeepSeek는 추론 특화로 주목, Qwen(알리바바)은 다국어와 코딩에서 강세, Mistral은 유럽 기반으로 경량 모델에 강하다. GitHub에서 Ollama는 16만 스타를 넘었다.