플랫폼에 올라오거나 AI가 생성하는 콘텐츠 중 유해하거나 부적절한 것을 탐지하고 관리하는 과정. 자동화된 AI 분류기와 사람 검토자의 조합으로 이루어지는 경우가 많다.
소셜 미디어, 커뮤니티, AI 챗봇 서비스 모두 콘텐츠 모더레이션이 필요하다. 혐오 표현, 폭력, 성인 콘텐츠, 허위 정보 등을 빠르게 처리하려면 AI 분류 모델이 1차로 걸러내고, 모호한 케이스는 사람이 최종 판단하는 방식이 흔하다. 완전 자동화는 문화·언어적 맥락을 놓치는 경우가 많아, 사람-AI 협업 구조가 현실적인 대안이다.
생성형 AI 서비스를 만들 때, 모델 응답을 출력하기 전에 분류 모델을 하나 더 돌려 유해성 점수가 임계값을 넘는 응답을 차단하는 방식이 출력 필터링의 대표 사례다. OpenAI Moderation API처럼 외부 API를 써서 입력과 출력을 동시에 검사하면, 별도 모델을 훈련하지 않아도 빠르게 구현할 수 있다.