Aller au contenu

Modération par IA sur Discord : ce qu'elle peut et ne peut pas faire

Modèles d'images, modèles de langage et filtres intégrés de Discord, avec les erreurs de chacun et la part qui reste à vos modérateurs.

Par SfwBot Team8 min de lecture

La modération par IA sur Discord fonctionne bien pour des tâches précises : un modèle d'images peut évaluer chaque image pour la nudité et supprimer les images explicites à toute heure, et un modèle de langage peut signaler des messages hostiles qui ne contiennent aucun mot interdit. Elle ne pèse pas le contexte comme votre équipe, donc elle se trompe dans les deux sens, et une personne doit encore trancher les recours et tout ce qui dépend de qui a dit quoi à qui.

Les types de modération automatique sur Discord

Trois choses différentes sont appelées modération par IA :

  • Les outils de Discord. AutoMod bloque les messages qui correspondent à vos listes de mots, aux listes de mots couramment signalés de Discord, ou à un contenu proche du spam largement signalé. Le filtre des images explicites, dans Paramètres du serveur, Configuration de la sécurité, vérifie si les images contiennent du contenu explicite. Les deux sont gratuits, intégrés à chaque serveur et arrêtent un message avant que les autres membres le voient. Activez-les avant d'ajouter un bot.
  • Les classificateurs d'images. Un bot télécharge chaque image et un modèle entraîné l'évalue. SfwBot fonctionne ainsi.
  • Les modèles de langage. Un bot transmet le texte des messages à un modèle qui l'étiquette, par exemple comme harcèlement ou menace. Certains bots font tourner leur propre modèle, d'autres envoient le texte au service d'une entreprise d'IA.

Ce que fait un modèle d'images, avec SfwBot comme exemple

La détection de nudité de SfwBot évalue chaque image, GIF et vidéo sur quatre niveaux : Quotidien, Suggestif, Nudité implicite et Explicite. Vous choisissez le niveau à partir duquel le blocage commence, et le bot supprime tout ce qui est à ce niveau ou au-dessus. Un nouveau serveur bloque uniquement Explicite. Pour un GIF ou une vidéo, le bot évalue un échantillon d'images.

Le modèle ne fait qu'évaluer. Votre niveau, vos salons et rôles exemptés, et vos listes d'autorisation et de blocage décident du sort du message. Comment fonctionne la détection NSFW par IA suit une image à travers chaque étape.

SfwBot détecte uniquement la nudité. Il ne recherche ni la violence, ni le gore, ni d'autres images nuisibles : ces cas restent du ressort de vos modérateurs.

Modération de texte avec des modèles de langage

Un modèle de langage peut repérer une insulte qui ne contient aucun mot interdit ou qui est orthographiée pour contourner un filtre, ce qu'une liste de mots ne peut pas faire.

Ses points faibles viennent de ce qu'il ne voit pas. Des amis qui s'insultent pour plaisanter, une citation publiée pour signaler quelqu'un, du sarcasme ou de l'argot que le modèle connaît mal peuvent tous être signalés, et une vraie menace en mots ordinaires peut passer. Un modèle de texte lit aussi chaque message, donc bien plus de ce qu'écrivent vos membres quitte Discord qu'avec une vérification d'images.

SfwBot ne fait aucune modération de texte par IA. Son filtre d'invitations, son filtre de spam et sa protection des liens suivent des règles et des listes que vous contrôlez, n'utilisent aucun crédit et ne conservent que le résultat de chaque vérification.

Des erreurs dans les deux sens

Une balance avec une vignette d'image sur chaque plateau, un côté plus bas

Un faux positif supprime quelque chose d'inoffensif. Un faux négatif laisse passer ce que le modèle aurait dû détecter. Tous les modèles font les deux.

Pour les images, les faux positifs habituels sont les gros plans de surfaces couleur chair comme des mains ou de la nourriture, les peintures classiques et les tenues limites. Les oublis habituels sont les images petites ou recadrées, et les images explicites d'une longue vidéo qui tombent entre celles que le bot échantillonne.

Le niveau que vous choisissez déplace l'équilibre. Bloquer à partir de Suggestif supprime aussi les photos de maillots de bain, y compris les photos de plage inoffensives. Pour voir chaque cas avant toute suppression, désactivez Supprimer le contenu bloqué : le bot se contente alors de signaler dans votre salon de journal et un modérateur décide. Quand une image passe à travers, ajoutez-la à votre liste de blocage pour que son empreinte soit repérée la fois suivante.

Le contexte qu'un modèle ne voit pas

Un buste sculpté dans un faisceau de lumière à côté d'une bulle de dialogue vide

Un modèle d'images regarde l'image seule. Il ne lit pas la légende, ne connaît pas le sujet du salon et ne sait pas qui a publié.

  • Art. Les dessins, peintures et sculptures sont évalués selon ce qu'ils montrent. Avec Plus et Pro, Illustrations et art donne aux œuvres leur propre niveau ou les autorise entièrement.
  • Images médicales et pédagogiques. Un schéma d'anatomie ou une photo pour une question de santé est évalué comme n'importe quelle image. Tenez ces discussions dans un salon que vous ajoutez à Salons exemptés, ou, avec Pro, donnez à ce salon son propre niveau.
  • Mèmes. Une blague grossière sans nudité est Quotidien pour le modèle. Savoir si la blague enfreint vos règles, c'est à vos modérateurs d'en juger.

Où vont les publications de vos membres

Avec toute modération par IA, une copie de ce que publient les membres quitte Discord pour être vérifiée. Renseignez-vous sur qui exploite le modèle, sur la réception éventuelle du contenu par une entreprise d'IA externe, et sur ce qui est conservé et combien de temps. Ce qu'il faut vérifier avant d'ajouter un bot en donne la liste de questions.

SfwBot télécharge chaque image pour l'analyser et la supprime juste après. Il conserve pendant 30 jours une empreinte de l'image et le lien vers le média sur Discord ; les empreintes de vos propres listes restent jusqu'à ce que vous les retiriez. Ses serveurs sont hébergés en Allemagne, et la liste des sous-traitants de sa page de sécurité et de confidentialité ne nomme aucune entreprise d'IA externe. L'équipe ne voit une image que lorsqu'une décision est signalée pour examen, en ouvrant cette seule image via le lien conservé.

Coût et rapidité

Chaque vérification par IA utilise du temps de calcul que l'exploitant paie. Avec SfwBot, chaque analyse par IA utilise des crédits, et l'offre gratuite inclut des crédits chaque mois. Les correspondances avec vos listes d'autorisation et de blocage ne coûtent rien, et un même média republié dans la journée n'est pas analysé deux fois. Quand les crédits sont épuisés, l'analyse se met en pause et votre liste de blocage continue de fonctionner.

Un bot n'apprend l'existence d'un message qu'une fois que Discord l'a publié. Pendant que le bot télécharge et évalue une image, elle est dans le salon et les membres qui regardent peuvent la voir. Le filtre des images explicites de Discord et AutoMod agissent avant l'apparition du message, donc gardez-les activés à côté de tout bot.

Pourquoi les modérateurs tranchent encore les recours

Un modèle donne une évaluation sans connaître vos règles, l'historique du membre ni ce qu'il voulait dire. Avant de vous fier à un bot, vérifiez comment un membre et un modérateur peuvent annuler une mauvaise décision.

Dans SfwBot, chaque suppression arrive dans votre salon de journal. Autoriser sur ce serveur place l'image dans votre liste d'autorisation pour qu'elle ne soit plus supprimée, et Signaler comme erronée l'envoie à l'équipe SfwBot pour examen. Les membres peuvent signaler leurs propres suppressions via /standing. Une suppression par l'analyse IA ne coûte aucune confiance au membre, sauf si vous l'activez dans les paramètres de confiance.

Les bannissements, les disputes entre membres et tous les cas contestés restent du ressort de votre équipe. Le guide de la détection de nudité couvre chaque paramètre et chaque bouton.

Questions fréquentes

Une IA peut-elle modérer seule un serveur Discord ?

Non. Elle gère des vérifications précises et répétitives, comme supprimer des images explicites à toute heure. Les règles qui dépendent du contexte, les disputes entre membres et les recours demandent une personne.

SfwBot utilise-t-il l'IA pour lire les messages texte ?

Non. L'IA de SfwBot évalue la nudité des images, GIF et vidéos. Les invitations, le spam et les liens d'arnaque sont traités par des filtres qui suivent des règles et des listes, et ils n'utilisent aucun crédit.

Existe-t-il une modération par IA gratuite pour les serveurs Discord ?

AutoMod et le filtre des images explicites de Discord sont gratuits et intégrés à chaque serveur. Les bots qui font tourner leurs propres modèles ont des coûts à couvrir, et l'offre gratuite de SfwBot inclut des crédits d'analyse chaque mois.

Articles similaires