Ir para o conteúdo

Moderação com IA no Discord: o que ela faz e o que não faz

Modelos de imagem, modelos de linguagem e os filtros nativos do Discord, com os erros de cada um e a parte que continua com seus moderadores.

Por SfwBot Team7 min de leitura

A moderação com IA no Discord funciona bem em tarefas específicas: um modelo de imagem pode avaliar cada foto quanto a nudez e excluir as explícitas a qualquer hora, e um modelo de linguagem pode sinalizar mensagens hostis que não contêm nenhuma palavra proibida. Ela não pesa o contexto como a sua equipe, então erra nos dois sentidos, e uma pessoa ainda precisa decidir os recursos e tudo o que depende de quem disse o quê a quem.

Os tipos de moderação automática no Discord

Três coisas diferentes são chamadas de moderação com IA:

  • Ferramentas do próprio Discord. O AutoMod bloqueia mensagens que correspondem às suas listas de palavras, às listas de palavras comumente sinalizadas do Discord ou a conteúdo parecido com spam muito denunciado. O Filtro de imagens explícitas, em Configurações do servidor, Configuração de segurança, verifica se as imagens têm conteúdo explícito. Os dois são gratuitos, vêm em todo servidor e barram a mensagem antes que outros membros a vejam. Ative-os antes de adicionar qualquer bot.
  • Classificadores de imagem. Um bot baixa cada imagem e um modelo treinado a avalia. O SfwBot funciona assim.
  • Modelos de linguagem. Um bot envia o texto das mensagens a um modelo que o classifica, por exemplo como assédio ou ameaça. Alguns bots rodam o próprio modelo, outros enviam o texto ao serviço de uma empresa de IA.

O que um modelo de imagem faz, com o SfwBot como exemplo

A detecção de nudez do SfwBot avalia cada imagem, GIF e vídeo em quatro níveis: Cotidiano, Revelador, Nudez sugerida e Explícito. Você escolhe o nível em que o bloqueio começa, e o bot exclui tudo desse nível para cima. Um servidor novo bloqueia apenas Explícito. Em GIFs e vídeos, o bot avalia uma amostra de quadros.

O modelo apenas avalia. Seu nível, seus canais e cargos isentos e suas listas de permissões e de bloqueio decidem o que acontece com a mensagem. Como funciona a detecção de NSFW com IA acompanha uma imagem por todas as etapas.

O SfwBot detecta apenas nudez. Ele não procura violência, conteúdo sangrento ou outras imagens nocivas, então isso fica com os seus moderadores.

Moderação de texto com modelos de linguagem

Um modelo de linguagem pode detectar um insulto que não contém nenhuma palavra proibida ou que foi escrito para driblar um filtro, algo que uma lista de palavras não consegue.

Seus pontos fracos vêm do que ele não enxerga. Amigos que se xingam de brincadeira, uma citação postada para denunciar alguém, sarcasmo ou gírias que o modelo conhece mal podem ser sinalizados, e uma ameaça real em palavras comuns pode passar. Um modelo de texto também lê todas as mensagens, então muito mais do que os seus membros escrevem sai do Discord do que com uma verificação de imagens.

O SfwBot não faz moderação de texto com IA. Seu filtro de convites, filtro de spam e proteção de links seguem regras e listas que você controla, não usam créditos e guardam apenas o resultado de cada verificação.

Erros nos dois sentidos

Uma balança com um quadro de imagem em cada prato, um lado mais baixo

Um falso positivo remove algo inofensivo. Um falso negativo deixa passar algo que o modelo deveria ter detectado. Todo modelo comete os dois.

Em imagens, os falsos positivos mais comuns são closes de superfícies da cor da pele, como mãos ou comida, pinturas clássicas e roupas no limite. Os erros por omissão mais comuns são imagens pequenas ou cortadas e quadros explícitos de um vídeo longo que ficam entre os quadros amostrados pelo bot.

O nível escolhido muda o equilíbrio. Bloquear a partir de Revelador também remove fotos de roupa de banho, inclusive fotos inofensivas de praia. Para ver cada caso antes de qualquer exclusão, desative Excluir conteúdo bloqueado: o bot então apenas informa ao seu canal de registro e um moderador decide. Quando uma imagem passar, adicione-a à sua lista de bloqueio para que a impressão digital dela seja reconhecida da próxima vez.

Contexto que um modelo não enxerga

Um busto de escultura em um feixe de luz ao lado de um balão de fala vazio

Um modelo de imagem olha apenas para a imagem. Ele não lê a legenda, não conhece o tema do canal nem sabe quem postou.

  • Arte. Desenhos, pinturas e esculturas são avaliados pelo que mostram. Nos planos Plus e Pro, Ilustrações e arte dá às obras um nível próprio ou as permite por completo.
  • Imagens médicas e educativas. Um diagrama de anatomia ou uma foto para uma dúvida de saúde é avaliado como qualquer outra imagem. Faça essas conversas em um canal que você adicione a Canais isentos ou, no Pro, dê a esse canal um nível próprio.
  • Memes. Uma piada grosseira sem nudez é Cotidiano para o modelo. Julgar se a piada quebra suas regras cabe aos seus moderadores.

Para onde vão as postagens dos seus membros

Em qualquer moderação com IA, uma cópia do que os membros postam sai do Discord para ser verificada. Descubra quem opera o modelo, se uma empresa de IA externa recebe o conteúdo e o que é armazenado e por quanto tempo. O que verificar antes de adicionar um bot lista as perguntas.

O SfwBot baixa cada imagem para escaneá-la e a descarta logo em seguida. Ele guarda por 30 dias uma impressão digital da imagem e o link da mídia no Discord; as impressões digitais das suas próprias listas ficam até você removê-las. Seus servidores ficam na Alemanha, e a lista de operadores na página de segurança e privacidade não cita nenhuma empresa de IA externa. A equipe só vê uma imagem quando uma decisão é enviada para revisão, abrindo apenas essa imagem pelo link armazenado.

Custo e velocidade

Toda verificação com IA usa tempo de computação que o operador paga. No SfwBot, cada escaneamento com IA usa créditos, e o plano gratuito inclui créditos todo mês. Correspondências nas suas listas de permissões e de bloqueio não custam nada, e a mesma mídia postada de novo em até um dia não é escaneada duas vezes. Quando os créditos acabam, o escaneamento pausa e sua lista de bloqueio continua funcionando.

Um bot só fica sabendo de uma mensagem depois que o Discord a publicou. Enquanto o bot baixa e avalia uma imagem, ela está no canal e os membros que estiverem olhando podem vê-la. O filtro de imagens explícitas do Discord e o AutoMod agem antes de a mensagem aparecer, então mantenha-os ativos junto com qualquer bot.

Por que moderadores ainda decidem os recursos

Um modelo dá uma avaliação sem conhecer suas regras, o histórico do membro ou o que ele quis dizer. Antes de confiar em um bot, verifique como um membro e um moderador podem desfazer um erro.

No SfwBot, cada remoção vai para o seu canal de registro. Permitir neste servidor coloca a imagem na sua lista de permissões para que não seja removida de novo, e Informar como erro a envia à equipe do SfwBot para revisão. Os membros podem informar as próprias remoções pelo /standing. Uma remoção pelo escaneamento de IA não custa confiança ao membro, a menos que você ative isso nas configurações de confiança.

Banimentos, discussões entre membros e todo caso contestado ficam com a sua equipe. O guia de detecção de nudez explica cada configuração e botão.

Perguntas frequentes

A IA pode moderar um servidor do Discord sozinha?

Não. Ela cuida de verificações específicas e repetitivas, como remover imagens explícitas a qualquer hora. Regras que dependem de contexto, disputas entre membros e recursos precisam de uma pessoa.

O SfwBot usa IA para ler mensagens de texto?

Não. A IA do SfwBot avalia imagens, GIFs e vídeos quanto a nudez. Convites, spam e links de golpe são tratados por filtros que seguem regras e listas, e eles não usam créditos.

Existe moderação com IA gratuita para servidores do Discord?

O AutoMod e o filtro de imagens explícitas do Discord são gratuitos e vêm em todo servidor. Bots que rodam os próprios modelos têm custos a cobrir, e o plano gratuito do SfwBot inclui créditos de escaneamento todo mês.

Artigos relacionados