Comment fonctionne la détection NSFW par IA sur Discord
Un modèle d'image évalue chaque image, et vos paramètres décident de la suite. Voici ce que voit le modèle, où il se trompe et ce qui est conservé.
Par SfwBot Team5 min de lecture
La détection NSFW par IA signifie qu'un modèle d'image examine chaque image postée sur votre serveur et indique quelle quantité de nudité elle montre. Le bot compare ce résultat au niveau que vous avez défini et supprime le message ou le laisse en place. Cet article suit une image tout au long de ce processus, avec SfwBot comme exemple.
Ce que le modèle fait d'une image
Le modèle est un réseau de neurones entraîné sur un grand ensemble d'images étiquetées. Il ne dispose d'aucune liste d'images interdites à laquelle comparer. Il a appris ce que les exemples étiquetés ont en commun, ce qui lui permet d'évaluer une image qu'il n'a jamais vue.
Pour chaque image, il répond à une seule question : lequel des quatre niveaux convient.
| Niveau | Nom | Contenu typique |
|---|---|---|
| 0 | Quotidien | Mèmes, captures d'écran, selfies |
| 1 | Suggestif | Maillots de bain, sous-vêtements et tenues similaires |
| 2 | Nudité suggérée | Nudité couverte ou dissimulée |
| 3 | Explicite | Nudité visible et contenu sexuel |
Le modèle ne fait qu'évaluer. Il ne connaît pas vos règles et ne décide de rien.
Votre niveau décide de ce qui est supprimé
Vous choisissez le niveau à partir duquel le blocage commence, et tout ce qui est à ce niveau ou au-dessus est supprimé. Un nouveau serveur démarre au niveau 3, donc seul le contenu explicite est retiré. Un serveur pour un public plus jeune peut commencer à bloquer au niveau 1.
Cette séparation compte quand vous réglez le bot. Si trop de contenu est retiré, vous relevez le niveau à partir duquel le blocage commence. Si pas assez est retiré, vous l'abaissez. Le modèle reste le même dans les deux cas.
Avec les forfaits payants, vous pouvez affiner : un niveau distinct pour les illustrations et l'art (Plus), et un niveau propre à certains salons ou catégories (Pro). La page des tarifs liste ce que chaque forfait inclut.
Ce qui se passe avant d'interroger le modèle
La plupart des images n'arrivent jamais jusqu'au modèle. SfwBot vérifie d'abord trois choses :
- Exemptions. Les médias des salons exemptés et des rôles exemptés sont ignorés. Les salons soumis à une limite d'âge sont ignorés par défaut.
- Empreintes. Le bot calcule une empreinte de l'image, une courte valeur qui reste presque identique quand l'image est redimensionnée ou recompressée. Si l'empreinte figure sur votre liste d'autorisation, l'image passe. Si elle figure sur une liste de blocage, l'image est retirée. Aucun des deux cas ne nécessite d'analyse.
- Répétitions. Un média identique analysé au cours des dernières 24 heures n'est pas analysé à nouveau.
Seul ce qui reste est envoyé au modèle. Cette analyse utilise des crédits.
GIF et vidéos
Une vidéo est trop longue pour être évaluée comme une seule image, donc le bot en extrait des images et évalue celles-ci. Par défaut, il vérifie 10 images d'une vidéo et 5 d'un GIF. Avec l'analyse vidéo approfondie du forfait Pro, il en vérifie 30 et 15.
L'échantillonnage a une conséquence qu'il faut connaître : quelques images explicites dans une longue vidéo peuvent tomber entre les échantillons. Si un clip passe, ajoutez-le à votre liste de blocage pour que son empreinte soit repérée la fois suivante.
Les fichiers de plus de 32 Mo ne sont pas analysés.
Où le modèle se trompe
Aucun modèle d'image n'a raison à chaque fois. Les erreurs habituelles sont :
- Surfaces couleur chair. Les gros plans de mains, de visages ou de nourriture sont parfois évalués trop haut.
- Art. Les peintures classiques, les sculptures et les personnages dessinés sont plus difficiles à évaluer que les photos.
- Tenues limites. La frontière entre le niveau 0 et le niveau 1 est la moins sûre, ce qui explique que peu de serveurs bloquent dès le niveau 1.
- Images petites ou recadrées. Moins le modèle en voit, moins l'évaluation est fiable.
SfwBot part du principe qu'une erreur de jugement se produira. Chaque suppression arrive dans votre salon de journal avec un bouton Signaler une erreur qui l'envoie en révision. Une image de votre liste d'autorisation n'est plus jamais supprimée sur votre serveur. Une suppression par le modèle ne coûte aucune confiance au membre, sauf si vous activez cette option : une seule erreur n'entraîne donc pas de strike.
Ce qui arrive à l'image
Le bot télécharge le média pour l'analyser et le supprime juste après. Ce qu'il conserve, c'est l'empreinte. Une image n'est conservée que lorsqu'une décision est signalée pour examen, jusqu'à la fin de l'examen et 30 jours au maximum.
Les données tirées d'un message, comme le lien du média et l'empreinte, sont supprimées après 30 jours. Les empreintes de vos propres listes restent jusqu'à ce que vous les retiriez. Les détails se trouvent sur la page sécurité et confidentialité.
Questions fréquentes
La détection par IA peut-elle remplacer des modérateurs humains ?
Non. Elle retire les cas évidents en un instant, à toute heure. Vos modérateurs tranchent toujours les cas signalés et tout ce qui dépend du contexte.
Le modèle apprend-il des images de mon serveur ?
Le bot ne conserve pas les images qu'il analyse. Une image n'est conservée que lorsqu'une décision est signalée pour examen, 30 jours au maximum.
L'IA lit-elle les messages texte ?
Non. Le modèle évalue les images, les GIF et les vidéos. Le texte est traité par des filtres distincts pour les invitations, le spam et les liens, qui n'utilisent aucun crédit.
Que se passe-t-il quand l'analyse échoue ?
Le message reste en place, et les crédits de cette analyse sont remboursés.
