Moderazione con IA su Discord: cosa può fare e cosa no
Modelli per immagini, modelli linguistici e filtri integrati di Discord, con gli errori di ciascuno e la parte che resta ai tuoi moderatori.
Di SfwBot Team7 min di lettura

La moderazione con IA su Discord funziona bene per compiti circoscritti: un modello per immagini può valutare ogni immagine per la nudità ed eliminare quelle esplicite a qualsiasi ora, e un modello linguistico può segnalare messaggi ostili che non contengono nessuna parola vietata. Non sa valutare il contesto come fa il tuo team, quindi sbaglia in entrambe le direzioni, e una persona deve ancora decidere sui ricorsi e su tutto ciò che dipende da chi ha detto cosa a chi.
I tipi di moderazione automatica su Discord
Con "moderazione con IA" si indicano tre cose diverse:
- Gli strumenti di Discord. AutoMod blocca i messaggi che corrispondono alle tue liste di parole, alle liste di parole comunemente segnalate di Discord o a contenuti simili allo spam segnalato più spesso. Il filtro immagini esplicite in Impostazioni server, Configurazione sicurezza controlla se le immagini hanno contenuti espliciti. Entrambi sono gratuiti, integrati in ogni server e fermano un messaggio prima che gli altri membri lo vedano. Attivali prima di aggiungere qualsiasi bot.
- Classificatori di immagini. Un bot scarica ogni immagine e un modello addestrato la valuta. SfwBot funziona così.
- Modelli linguistici. Un bot passa il testo dei messaggi a un modello che lo classifica, per esempio come molestia o minaccia. Alcuni bot usano un modello proprio, altri inviano il testo al servizio di un'azienda di IA.
Cosa fa un modello per immagini, con SfwBot come esempio
Il rilevamento della nudità di SfwBot valuta ogni immagine, GIF e video su quattro livelli: Quotidiano, Provocante, Nudità implicita ed Esplicito. Scegli il livello da cui inizia il blocco e il bot elimina tutto ciò che è a quel livello e sopra. Un nuovo server blocca solo Esplicito. Per una GIF o un video il bot valuta un campione di fotogrammi.
Il modello si limita a valutare. Il tuo livello, i canali e i ruoli esenti e le liste consentiti e di blocco decidono cosa succede al messaggio. Come funziona il rilevamento NSFW con IA segue un'immagine in ogni passaggio.
SfwBot rileva solo la nudità. Non cerca violenza, gore o altre immagini dannose, quindi queste restano ai tuoi moderatori.
Moderazione del testo con i modelli linguistici
Un modello linguistico può cogliere un insulto che non contiene parole vietate o che è scritto per aggirare un filtro, cosa che una lista di parole non riesce a fare.
I suoi punti deboli vengono da ciò che non può vedere. Amici che si insultano per scherzo, una citazione pubblicata per segnalare qualcuno, sarcasmo o slang che il modello conosce poco possono essere tutti segnalati, e una minaccia reale in parole comuni può passare. Un modello per il testo legge inoltre ogni messaggio, quindi molto più di ciò che scrivono i tuoi membri esce da Discord rispetto a un controllo sulle immagini.
SfwBot non fa moderazione del testo con IA. Il filtro inviti, il filtro spam e la protezione dai link seguono regole e liste che controlli tu, non usano crediti e conservano solo l'esito di ogni controllo.
Errori in entrambe le direzioni

Un falso positivo rimuove qualcosa di innocuo. Un falso negativo lascia passare qualcosa che il modello avrebbe dovuto rilevare. Ogni modello commette entrambi gli errori.
Con le immagini, i falsi positivi più comuni sono i primi piani di superfici color pelle come mani o cibo, i dipinti classici e i look al limite. Le mancate rilevazioni più comuni riguardano immagini piccole o ritagliate e fotogrammi espliciti di un video lungo che cadono tra quelli campionati dal bot.
Il livello che scegli sposta l'equilibrio. Bloccare da Provocante rimuove anche le foto in costume da bagno, comprese le innocue immagini da spiaggia. Per vedere ogni caso prima che venga eliminato qualcosa, disattiva Elimina i contenuti bloccati: il bot allora si limita a segnalare nel tuo canale di log e decide un moderatore. Quando un'immagine sfugge, aggiungila alla tua lista di blocco, così la sua impronta viene riconosciuta la volta dopo.
Il contesto che un modello non vede

Un modello per immagini guarda solo l'immagine. Non legge la didascalia, non conosce l'argomento del canale e non sa chi l'ha pubblicata.
- Arte. Disegni, dipinti e sculture vengono valutati per ciò che mostrano. Con Plus e Pro, Illustrazioni e arte dà alle opere un livello proprio o le consente del tutto.
- Immagini mediche e didattiche. Un diagramma anatomico o una foto per una domanda di salute viene valutata come qualsiasi altra immagine. Tieni quelle discussioni in un canale che aggiungi a Canali esenti, oppure con Pro dai a quel canale un livello proprio.
- Meme. Una battuta volgare senza nudità è Quotidiano per il modello. Se la battuta violi le tue regole lo giudicano i tuoi moderatori.
Dove vanno i messaggi dei tuoi membri
Con qualsiasi moderazione con IA, una copia di ciò che i membri pubblicano esce da Discord per essere controllata. Scopri chi gestisce il modello, se un'azienda di IA esterna riceve i contenuti e cosa viene conservato e per quanto tempo. Cosa controllare prima di aggiungere un bot elenca le domande.
SfwBot scarica ogni immagine per analizzarla e la scarta subito dopo. Conserva per 30 giorni un'impronta dell'immagine e il link al contenuto su Discord; le impronte nelle tue liste restano finché non le rimuovi. I suoi server sono ospitati in Germania e l'elenco dei responsabili del trattamento nella sua pagina su sicurezza e privacy non cita nessuna azienda di IA esterna. Lo staff vede un'immagine solo quando una decisione viene segnalata per la revisione, aprendo quella singola immagine tramite il link conservato.
Costo e velocità
Ogni controllo con IA usa tempo di calcolo che paga il gestore. Con SfwBot ogni analisi con IA usa crediti, e il piano gratuito include crediti ogni mese. Le corrispondenze con le tue liste consentiti e di blocco non costano nulla, e lo stesso contenuto pubblicato di nuovo entro un giorno non viene analizzato due volte. Quando i crediti finiscono, l'analisi si ferma e la tua lista di blocco continua a funzionare.
Un bot viene a sapere di un messaggio solo dopo che Discord lo ha pubblicato. Mentre il bot scarica e valuta un'immagine, l'immagine è nel canale e i membri che guardano possono vederla. Il filtro immagini esplicite di Discord e AutoMod agiscono prima che il messaggio appaia, quindi tienili attivi accanto a qualsiasi bot.
Perché i ricorsi li decidono ancora i moderatori
Un modello dà una valutazione senza conoscere le tue regole, la storia del membro o che cosa intendesse. Prima di affidarti a un bot, controlla come un membro e un moderatore possono annullare una decisione sbagliata.
In SfwBot ogni rimozione va nel tuo canale di log. Consenti in questo server mette l'immagine nella tua lista consentiti così non viene rimossa di nuovo, e Segnala come errata la invia al team di SfwBot per la revisione. I membri possono segnalare le proprie rimozioni con /standing. Una rimozione dovuta all'analisi con IA non toglie fiducia al membro, a meno che tu non lo attivi nelle impostazioni della fiducia.
Ban, discussioni tra membri e ogni caso contestato restano al tuo team. La guida al rilevamento della nudità descrive ogni impostazione e pulsante.
Domande frequenti
L'IA può moderare un server Discord da sola?
No. Si occupa di controlli circoscritti e ripetitivi, come rimuovere le immagini esplicite a qualsiasi ora. Le regole che dipendono dal contesto, le dispute tra membri e i ricorsi richiedono una persona.
SfwBot usa l'IA per leggere i messaggi di testo?
No. L'IA di SfwBot valuta immagini, GIF e video per la nudità. Inviti, spam e link truffa sono gestiti da filtri che seguono regole e liste, e non usano crediti.
Esiste una moderazione con IA gratuita per i server Discord?
AutoMod e il filtro immagini esplicite di Discord sono gratuiti e integrati in ogni server. I bot che usano modelli propri hanno costi da coprire, e il piano gratuito di SfwBot include ogni mese crediti per le analisi.


