Discord AI 모더레이션: 할 수 있는 일과 할 수 없는 일
이미지 모델, 언어 모델, Discord 기본 필터가 각각 어떤 실수를 하는지, 그리고 모더레이터가 계속 맡는 일은 무엇인지 알아봐요.
작성자 SfwBot Team5분 소요

Discord AI 모더레이션은 범위가 좁은 작업에서 잘 작동해요. 이미지 모델은 모든 사진의 노출 여부를 평가해 노골적인 사진을 시간과 상관없이 삭제할 수 있고, 언어 모델은 금지어가 없는 적대적인 메시지도 찾아낼 수 있어요. 하지만 운영진처럼 맥락을 따져 보지는 못해서 양쪽 방향으로 실수가 생기고, 이의 신청이나 누가 누구에게 무슨 말을 했는지에 달린 문제는 여전히 사람이 판단해야 해요.
Discord의 자동 모더레이션 종류
AI 모더레이션이라고 부르는 것에는 세 가지가 있어요.
- Discord 자체 도구. AutoMod는 직접 만든 단어 목록, Discord가 제공하는 자주 신고되는 단어 목록, 널리 신고된 스팸과 비슷한 콘텐츠에 해당하는 메시지를 차단해요. 서버 설정의 안전 설정에 있는 노골적인 이미지 필터는 이미지에 노골적인 콘텐츠가 있는지 검사해요. 둘 다 무료이고 모든 서버에 내장되어 있으며, 다른 멤버가 보기 전에 메시지를 막아요. 봇을 추가하기 전에 먼저 켜 두세요.
- 이미지 분류기. 봇이 각 이미지를 내려받으면 학습된 모델이 평가해요. SfwBot이 이 방식이에요.
- 언어 모델. 봇이 메시지 텍스트를 모델에 전달하면 모델이 괴롭힘이나 협박 같은 라벨을 붙여요. 자체 모델을 쓰는 봇도 있고, AI 회사의 서비스로 텍스트를 보내는 봇도 있어요.
이미지 모델의 작동 방식: SfwBot의 예
SfwBot의 노출 감지는 각 이미지, GIF, 동영상을 일상, 노출 있음, 암시적 노출, 노골적 콘텐츠의 네 단계로 평가해요. 차단을 시작할 등급을 직접 고르면, 봇이 그 등급 이상을 모두 삭제해요. 새 서버는 노골적 콘텐츠만 차단해요. GIF나 동영상은 일부 프레임을 샘플로 뽑아 평가해요.
모델은 평가만 해요. 메시지를 어떻게 처리할지는 설정한 등급, 예외 채널과 역할, 화이트리스트와 블랙리스트가 정해요. AI NSFW 감지의 작동 방식에서 이미지 한 장이 모든 단계를 거치는 과정을 따라가 볼 수 있어요.
SfwBot은 노출 콘텐츠만 감지해요. 폭력, 고어, 그 밖의 유해한 이미지는 찾지 않으므로 그런 부분은 모더레이터가 맡아요.
언어 모델을 이용한 텍스트 모더레이션
언어 모델은 금지어가 없거나 필터를 피하려고 철자를 바꾼 모욕도 잡아낼 수 있어요. 단어 목록으로는 할 수 없는 일이에요.
약점은 모델이 볼 수 없는 부분에서 나와요. 친구끼리 농담으로 하는 욕, 누군가를 신고하려고 올린 인용문, 모델이 잘 모르는 빈정거림이나 은어는 잘못 걸릴 수 있고, 평범한 말로 쓴 실제 협박은 그냥 지나갈 수 있어요. 또 텍스트 모델은 모든 메시지를 읽기 때문에 이미지 검사보다 훨씬 많은 멤버의 글이 Discord 밖으로 나가요.
SfwBot은 AI 텍스트 모더레이션을 하지 않아요. 초대 필터, 스팸 필터, 링크 보호는 직접 관리하는 규칙과 목록을 따르고, 크레딧을 쓰지 않으며, 각 검사의 결과만 보관해요.
양쪽 방향의 잘못된 판단

오탐은 문제없는 것을 지우는 경우이고, 미탐은 모델이 잡았어야 할 것을 통과시키는 경우예요. 모든 모델이 둘 다 해요.
이미지에서 흔한 오탐은 손이나 음식처럼 피부색과 비슷한 표면의 확대 사진, 고전 회화, 경계에 있는 복장이에요. 흔한 미탐은 작거나 잘린 이미지, 그리고 긴 동영상에서 봇이 샘플로 뽑는 프레임 사이에 들어 있는 노골적인 프레임이에요.
고르는 등급에 따라 균형이 달라져요. 노출 있음부터 차단하면 수영복 사진도 지워지고, 문제없는 해변 사진도 포함돼요. 삭제 전에 각 사례를 확인하려면 차단된 콘텐츠 삭제를 끄세요. 그러면 봇은 로그 채널에 보고만 하고 모더레이터가 결정해요. 이미지가 통과했다면 블랙리스트에 추가해서 다음번에는 지문으로 잡히게 하세요.
모델이 볼 수 없는 맥락

이미지 모델은 사진만 봐요. 캡션을 읽지 않고, 채널의 주제도, 누가 올렸는지도 몰라요.
- 예술. 그림, 회화, 조각은 보이는 대로 평가돼요. Plus와 Pro에서는 일러스트와 예술 설정으로 작품에 별도 등급을 주거나 모두 허용할 수 있어요.
- 의학 및 교육 이미지. 해부도나 건강 질문에 쓰는 사진도 다른 사진과 똑같이 평가돼요. 이런 대화는 예외 채널에 추가한 채널에서 하거나, Pro에서는 그 채널에 별도 등급을 지정하세요.
- 밈. 노출이 없는 저속한 농담은 모델에게 일상 등급이에요. 그 농담이 규칙에 어긋나는지는 모더레이터가 판단해요.
멤버의 게시물이 가는 곳
어떤 AI 모더레이션이든 검사를 위해 멤버가 올린 내용의 사본이 Discord 밖으로 나가요. 누가 모델을 운영하는지, 외부 AI 회사가 콘텐츠를 받는지, 무엇을 얼마나 오래 저장하는지 확인하세요. 봇을 추가하기 전에 확인할 것에 확인할 질문이 정리되어 있어요.
SfwBot은 스캔을 위해 각 이미지를 내려받고 곧바로 폐기해요. 이미지의 지문과 Discord 미디어 링크는 30일간 보관해요. 직접 만든 목록에 있는 지문은 삭제할 때까지 남아요. 서버는 독일에 있고, 보안 및 개인정보 페이지의 처리자 목록에는 외부 AI 회사가 없어요. 직원은 판단이 검토를 위해 신고된 경우에만, 저장된 링크로 그 이미지 하나를 열어서 봐요.
비용과 속도
모든 AI 검사는 운영자가 비용을 부담하는 연산 시간을 써요. SfwBot에서는 AI 스캔마다 크레딧을 사용하고, 무료 요금제에도 매달 크레딧이 포함돼요. 화이트리스트와 블랙리스트에 일치하는 항목은 비용이 들지 않고, 같은 미디어가 하루 안에 다시 올라와도 두 번 스캔하지 않아요. 크레딧이 떨어지면 스캔은 멈추고 블랙리스트는 계속 작동해요.
봇은 Discord에 메시지가 올라간 뒤에야 그 메시지를 알게 돼요. 봇이 이미지를 내려받아 평가하는 동안 이미지는 채널에 있고, 보고 있는 멤버는 볼 수 있어요. Discord의 노골적인 이미지 필터와 AutoMod는 메시지가 나타나기 전에 작동하므로, 어떤 봇을 쓰든 함께 켜 두세요.
이의 신청을 모더레이터가 판단하는 이유
모델은 서버의 규칙도, 멤버의 이력도, 멤버가 의도한 바도 모른 채 평가를 내려요. 봇에 의존하기 전에 멤버와 모더레이터가 잘못된 판단을 어떻게 되돌릴 수 있는지 확인하세요.
SfwBot에서는 삭제된 항목이 모두 로그 채널로 가요. 이 서버에서 허용을 누르면 이미지가 화이트리스트에 추가되어 다시 삭제되지 않고, 오류로 신고를 누르면 SfwBot 팀에 검토를 요청해요. 멤버는 /standing으로 자신의 삭제를 신고할 수 있어요. AI 스캔으로 인한 삭제는 신뢰 설정에서 켜지 않는 한 멤버의 신뢰 점수를 깎지 않아요.
차단, 멤버 간 다툼, 누군가 이의를 제기한 모든 사례는 운영진이 맡아요. 노출 감지 가이드에서 각 설정과 버튼을 확인할 수 있어요.
자주 묻는 질문
AI가 Discord 서버를 혼자 모더레이션할 수 있나요?
아니요. 시간과 상관없이 노골적인 이미지를 삭제하는 것처럼 범위가 좁고 반복적인 검사를 처리해요. 맥락에 달린 규칙, 멤버 간 분쟁, 이의 신청에는 사람이 필요해요.
SfwBot은 AI로 텍스트 메시지를 읽나요?
아니요. SfwBot의 AI는 이미지, GIF, 동영상의 노출 여부를 평가해요. 초대, 스팸, 사기 링크는 규칙과 목록을 따르는 필터가 처리하고, 크레딧은 쓰지 않아요.
Discord 서버용 무료 AI 모더레이션이 있나요?
Discord의 AutoMod와 노골적인 이미지 필터는 무료이고 모든 서버에 내장되어 있어요. 자체 모델을 운영하는 봇은 비용이 들고, SfwBot의 무료 요금제에는 매달 스캔 크레딧이 포함돼요.


