Como funciona a detecção de NSFW por IA no Discord
Um modelo de imagem classifica cada imagem, e as suas configurações decidem o que acontece em seguida. Veja o que o modelo enxerga, onde ele erra e o que é guardado.
Por SfwBot Team5 min de leitura
Detecção de NSFW por IA significa que um modelo de imagem examina cada imagem postada no seu servidor e informa quanta nudez ela mostra. O bot compara esse resultado com o nível que você definiu e apaga a mensagem ou a deixa como está. Este artigo acompanha uma imagem ao longo desse processo, usando o SfwBot como exemplo.
O que o modelo faz com uma imagem
O modelo é uma rede neural treinada com um grande conjunto de imagens rotuladas. Ele não tem uma lista de imagens proibidas para comparar. Ele aprendeu o que os exemplos rotulados têm em comum, e por isso consegue classificar uma imagem que nunca viu.
Para cada imagem, ele responde a uma pergunta: qual dos quatro níveis se encaixa.
| Nível | Nome | Conteúdo típico |
|---|---|---|
| 0 | Cotidiano | Memes, capturas de tela, selfies |
| 1 | Sugestivo | Roupas de banho, roupas íntimas e looks semelhantes |
| 2 | Nudez sugerida | Nudez coberta ou escondida |
| 3 | Explícito | Nudez visível e conteúdo sexual |
O modelo apenas classifica. Ele não conhece as suas regras e não decide nada.
O seu nível decide o que é apagado
Você escolhe o nível em que o bloqueio começa, e tudo a partir desse nível é apagado. Um servidor novo começa no nível 3, então só o conteúdo explícito é removido. Um servidor para um público mais jovem pode começar a bloquear no nível 1.
Essa divisão importa na hora de ajustar o bot. Se muita coisa é removida, você aumenta o nível em que o bloqueio começa. Se pouca coisa é removida, você o diminui. O modelo continua o mesmo nos dois casos.
Nos planos pagos, você pode refinar isso: um nível separado para ilustrações e arte (Plus) e um nível próprio para canais ou categorias individuais (Pro). A página de preços lista o que cada plano inclui.
O que acontece antes de consultar o modelo
A maioria das imagens nunca chega ao modelo. O SfwBot verifica três coisas antes:
- Isenções. Mídias em canais isentos e de cargos isentos são ignoradas. Canais com restrição de idade são ignorados por padrão.
- Impressões digitais. O bot calcula uma impressão digital da imagem, um valor curto que permanece quase igual quando a imagem é redimensionada ou recomprimida. Se a impressão digital estiver na sua lista de permissão, a imagem passa. Se estiver em uma lista de bloqueio, ela é removida. Nenhum dos dois casos precisa de análise.
- Repetições. Mídias idênticas que foram analisadas nas últimas 24 horas não são analisadas de novo.
Só o que sobra vai para o modelo. Essa análise usa créditos.
GIFs e vídeos
Um vídeo é longo demais para ser classificado como uma única imagem, então o bot extrai quadros dele e classifica esses quadros. Por padrão, ele verifica 10 quadros de um vídeo e 5 de um GIF. Com a análise profunda de vídeo do plano Pro, ele verifica 30 e 15.
A amostragem tem uma consequência que você deve conhecer: alguns quadros explícitos em um vídeo longo podem cair entre as amostras. Se um clipe passar, adicione-o à sua lista de bloqueio para que a impressão digital dele seja detectada da próxima vez.
Arquivos acima de 32 MB não são analisados.
Onde o modelo erra
Nenhum modelo de imagem acerta sempre. Os erros mais comuns são:
- Superfícies da cor da pele. Closes de mãos, rostos ou comida às vezes recebem uma classificação alta demais.
- Arte. Pinturas clássicas, esculturas e personagens desenhados são mais difíceis de classificar do que fotos.
- Roupas no limite. A linha entre o nível 0 e o nível 1 é a mais incerta, e por isso poucos servidores bloqueiam a partir do nível 1.
- Imagens pequenas ou cortadas. Quanto menos o modelo consegue ver, menos confiável é a classificação.
O SfwBot trata uma decisão errada como algo que vai acontecer. Cada remoção vai para o seu canal de registros com um botão Informar erro que a envia para revisão. Uma imagem da sua lista de permissões nunca mais é removida no seu servidor. Uma remoção feita pelo modelo não custa confiança ao membro, a menos que você ative essa opção, então uma decisão errada não leva a um strike.
O que acontece com a imagem
O bot baixa a mídia para analisá-la e a descarta logo depois. O que ele guarda é a impressão digital. A imagem em si só é guardada quando uma decisão é denunciada para revisão, até a revisão terminar e por no máximo 30 dias.
Os dados extraídos de uma mensagem, como o link da mídia e a impressão digital, são apagados após 30 dias. As impressões digitais das suas próprias listas permanecem até você removê-las. Os detalhes estão na página de segurança e privacidade.
Perguntas frequentes
A detecção por IA pode substituir moderadores humanos?
Não. Ela remove os casos óbvios em instantes, a qualquer hora. Seus moderadores continuam decidindo os casos denunciados e tudo o que depende de contexto.
O modelo aprende com as imagens do meu servidor?
O bot não guarda as imagens que analisa. Uma imagem só é guardada quando uma decisão é denunciada para revisão, por no máximo 30 dias.
A IA lê mensagens de texto?
Não. O modelo classifica imagens, GIFs e vídeos. O texto é tratado por filtros separados para convites, spam e links, que não usam créditos.
O que acontece quando a análise falha?
A mensagem permanece, e os créditos dessa análise são devolvidos.
