AI 모델이 왜 그런 결정을 내렸는지 인간이 이해할 수 있는 형태로 설명하는 능력. 의료, 금융, 법률처럼 근거가 중요한 분야에서는 설명가능성이 신뢰와 규제 준수의 기반이 된다.

개념 설명

딥러닝 모델은 성능이 뛰어나지만 내부에서 어떤 과정으로 결론에 도달하는지 알기 어렵다. 이를 "블랙박스 문제"라 한다. 설명가능성 연구는 모델이 어떤 입력 특성에 주목했는지, 왜 A 대신 B를 선택했는지 시각화하거나 자연어로 설명하는 방법을 다룬다. 단순히 정확도가 높은 것으로는 충분하지 않고, 결정 근거를 보여줄 수 있어야 한다는 요구에서 나온 분야다.

사용 예시

LLM 기반 애플리케이션에서는 모델의 응답과 함께 근거 문서나 출처를 함께 표시하는 것이 설명가능성을 높이는 가장 쉬운 방법이다. RAG를 사용하면 모델이 어떤 문서를 참조했는지 추적할 수 있어 결과 신뢰도가 높아진다. 의료 진단 보조 도구라면 AI의 판단과 함께 판단 근거로 사용된 증상이나 수치를 명시하는 것이 요구될 수 있다.