클라우드가 아닌 스마트폰, 노트북, IoT 기기에서 직접 AI 모델을 실행하는 방식. 네트워크 없이도 작동하고 데이터가 기기 밖으로 나가지 않아 프라이버시가 보장된다.

개념 설명

클라우드 AI는 네트워크가 필요하고 데이터가 외부 서버로 전송된다. 온디바이스 AI는 모델을 기기 안에서 직접 실행한다. Apple Intelligence가 iPhone에서, Google이 Pixel에서 Gemini Nano를 돌리는 게 대표적이다. 양자화와 소형 언어 모델(SLM) 기술이 발전하면서 스마트폰에서도 7B 이하 모델을 실용적 속도로 돌릴 수 있게 됐다.

사용 예시

Ollama로 맥북에서 Llama나 Gemma를 로컬로 실행하면 API 비용 없이 AI를 쓸 수 있다. iOS/Android 앱에 Core ML이나 MediaPipe로 경량 모델을 내장하면 오프라인에서도 텍스트 요약, 번역, 이미지 분류가 작동한다. 의료·금융처럼 데이터가 기기를 떠나면 안 되는 환경에서 특히 중요하다.