Discord에서 AI NSFW 감지가 작동하는 방식

AI NSFW 감지란 이미지 모델이 서버에 올라온 모든 사진을 보고 노출 정도를 알려 주는 것을 말해요. 봇은 그 결과를 설정한 등급과 비교해서 메시지를 삭제하거나 그대로 둬요. 이 글에서는 SfwBot을 예로 이미지 한 장이 이 과정을 거치는 모습을 따라가요.

모델이 이미지로 하는 일

모델은 라벨이 붙은 대량의 사진으로 학습한 신경망이에요. 비교할 금지 사진 목록은 없어요. 라벨이 붙은 예시들의 공통점을 학습했기 때문에 처음 보는 사진도 평가할 수 있어요.

이미지마다 모델은 네 가지 등급 중 어느 것이 맞는지 하나의 질문에 답해요.

모델은 등급만 매겨요. 서버의 규칙을 알지 못하고 아무것도 결정하지 않아요.

삭제 여부는 설정한 등급이 결정해요

차단을 시작할 등급을 선택하면 그 등급 이상이 모두 삭제돼요. 새 서버는 등급 3에서 시작하므로 노골적인 콘텐츠만 삭제돼요. 어린 이용자가 많은 서버라면 등급 1부터 차단할 수도 있어요.

봇을 조정할 때 이 구분이 중요해요. 너무 많이 삭제되면 차단을 시작하는 등급을 높이고, 너무 적게 삭제되면 낮추세요. 어느 쪽이든 모델은 그대로예요.

유료 플랜에서는 더 세밀하게 설정할 수 있어요. 일러스트와 예술 작품에 별도 등급을 지정할 수 있고(Plus), 개별 채널이나 카테고리마다 자체 등급을 지정할 수 있어요(Pro). 각 플랜에 포함된 내용은 요금제 페이지에서 확인하세요.

모델에 묻기 전에 일어나는 일

대부분의 이미지는 모델에 도달하지 않아요. SfwBot은 먼저 세 가지를 확인해요.

1. 예외. 예외 채널의 미디어와 예외 역할이 올린 미디어는 건너뛰어요. 연령 제한 채널은 기본적으로 건너뛰어요.
2. 지문. 봇은 이미지의 지문을 계산해요. 이미지 크기를 바꾸거나 다시 압축해도 거의 변하지 않는 짧은 값이에요. 지문이 화이트리스트에 있으면 이미지가 통과하고, 블랙리스트에 있으면 삭제돼요. 둘 다 검사가 필요 없어요.
3. 반복. 최근 24시간 안에 검사한 동일한 미디어는 다시 검사하지 않아요.

남은 것만 모델로 가요. 이 검사에는 크레딧이 사용돼요.

GIF와 동영상

동영상은 한 장의 사진으로 평가하기에는 너무 길어서 봇이 프레임을 뽑아 그것을 평가해요. 기본적으로 동영상은 10프레임, GIF는 5프레임을 검사해요. Pro 플랜의 심층 동영상 검사에서는 각각 30프레임과 15프레임을 검사해요.

샘플링에는 알아 둘 점이 있어요. 긴 동영상에서 노골적인 프레임 몇 장이 샘플 사이로 빠질 수 있어요. 클립이 통과했다면 블랙리스트에 추가하세요. 그러면 다음에는 지문으로 걸러져요.

32 MB를 넘는 파일은 검사하지 않아요.

모델이 틀리는 곳

매번 정확한 이미지 모델은 없어요. 흔한 실수는 다음과 같아요.

• 피부색에 가까운 표면. 손, 얼굴, 음식의 클로즈업이 실제보다 높게 평가되기도 해요.
• 예술 작품. 고전 회화, 조각, 그려진 캐릭터는 사진보다 평가하기 어려워요.
• 경계선에 있는 옷차림. 등급 0과 등급 1의 경계가 가장 불확실해서 등급 1부터 차단하는 서버는 드물어요.
• 작거나 잘린 이미지. 모델이 볼 수 있는 부분이 적을수록 평가의 신뢰도가 떨어져요.

SfwBot은 잘못된 판단이 생길 수 있다고 전제해요. 삭제된 항목은 모두 로그 채널에 오류로 신고 버튼과 함께 전달되고, 누르면 검토로 넘어가요. 화이트리스트에 있는 이미지는 서버에서 다시는 삭제되지 않아요. 모델에 의한 삭제는 켜지 않는 한 멤버의 신뢰 점수를 깎지 않으므로, 잘못된 판단 한 번으로 스트라이크가 부과되지 않아요.

이미지는 어떻게 되나요

봇은 분석을 위해 미디어를 다운로드하고 직후에 폐기해요. 보관하는 것은 지문이에요. 이미지 자체는 결정이 검토를 위해 신고된 경우에만 보관되며, 검토가 끝날 때까지 최대 30일 동안 유지돼요.

미디어 링크와 지문처럼 메시지에서 가져온 데이터는 30일 후에 삭제돼요. 직접 만든 목록에 있는 지문은 삭제하기 전까지 유지돼요. 자세한 내용은 보안 및 개인정보 페이지에서 확인하세요.