Come funziona il rilevamento NSFW con IA su Discord
Un modello di immagini valuta ogni foto e le tue impostazioni decidono cosa succede dopo. Ecco cosa vede il modello, dove sbaglia e cosa viene conservato.
Di SfwBot Team5 min di lettura
Rilevamento NSFW con IA significa che un modello di immagini guarda ogni foto pubblicata nel tuo server e indica quanta nudità mostra. Il bot confronta il risultato con il livello che hai impostato ed elimina il messaggio oppure lo lascia stare. Questo articolo segue un'immagine lungo l'intero processo, usando SfwBot come esempio.
Cosa fa il modello con un'immagine
Il modello è una rete neurale addestrata su un grande insieme di immagini etichettate. Non ha un elenco di immagini vietate con cui confrontare. Ha imparato cosa hanno in comune gli esempi etichettati, quindi può valutare una foto che non ha mai visto.
Per ogni immagine risponde a una sola domanda: quale dei quattro livelli è adatto.
| Livello | Nome | Contenuto tipico |
|---|---|---|
| 0 | Quotidiano | Meme, screenshot, selfie |
| 1 | Succinto | Costumi da bagno, biancheria e abiti simili |
| 2 | Nudità suggerita | Nudità coperta o nascosta |
| 3 | Esplicito | Nudità visibile e contenuti sessuali |
Il modello si limita a valutare. Non conosce le tue regole e non decide nulla.
Il tuo livello decide cosa viene eliminato
Scegli il livello da cui parte il blocco e tutto ciò che è a quel livello o sopra viene eliminato. Un nuovo server parte dal livello 3, quindi viene rimosso solo il contenuto esplicito. Un server per un pubblico più giovane potrebbe iniziare a bloccare dal livello 1.
Questa separazione conta quando regoli il bot. Se viene rimosso troppo, alzi il livello da cui parte il blocco. Se viene rimosso troppo poco, lo abbassi. Il modello resta lo stesso in entrambi i casi.
Nei piani a pagamento puoi affinare ulteriormente: un livello separato per illustrazioni e arte (Plus) e un livello dedicato a singoli canali o categorie (Pro). La pagina dei prezzi elenca cosa include ogni piano.
Cosa succede prima di interrogare il modello
La maggior parte delle immagini non arriva mai al modello. SfwBot controlla prima tre cose:
- Esenzioni. I media nei canali esenti e quelli dei ruoli esenti vengono saltati. I canali con limite di età vengono saltati per impostazione predefinita.
- Impronte. Il bot calcola l'impronta dell'immagine, un breve valore che resta quasi uguale quando l'immagine viene ridimensionata o ricompressa. Se l'impronta è nella tua lista consentiti, l'immagine passa. Se è in una lista di blocco, viene rimossa. In nessuno dei due casi serve una scansione.
- Ripetizioni. I media identici già scansionati nelle ultime 24 ore non vengono scansionati di nuovo.
Solo ciò che resta va al modello. Quella scansione usa crediti.
GIF e video
Un video è troppo lungo per essere valutato come un'unica immagine, quindi il bot ne preleva dei fotogrammi e valuta quelli. Per impostazione predefinita controlla 10 fotogrammi di un video e 5 di una GIF. Con la scansione video approfondita del piano Pro ne controlla 30 e 15.
Il campionamento ha una conseguenza da conoscere: pochi fotogrammi espliciti in un video lungo possono cadere tra un campione e l'altro. Se una clip passa, aggiungila alla tua lista di blocco così la sua impronta verrà riconosciuta la volta successiva.
I file oltre i 32 MB non vengono scansionati.
Dove sbaglia il modello
Nessun modello di immagini ha ragione ogni volta. Gli errori più comuni sono:
- Superfici color pelle. I primi piani di mani, volti o cibo a volte ricevono una valutazione troppo alta.
- Arte. Dipinti classici, sculture e personaggi disegnati sono più difficili da valutare delle foto.
- Abiti al limite. Il confine tra livello 0 e livello 1 è il meno certo, ed è il motivo per cui pochi server bloccano dal livello 1.
- Immagini piccole o ritagliate. Meno il modello riesce a vedere, meno è affidabile la valutazione.
SfwBot considera un errore come qualcosa che accadrà. Ogni eliminazione arriva nel tuo canale di log con un pulsante Segnala come errore che la manda in revisione. Un'immagine nella tua lista consentiti non viene mai più rimossa sul tuo server. Un'eliminazione decisa dal modello non costa fiducia al membro, a meno che tu non lo attivi, quindi un singolo errore non porta a uno strike.
Cosa succede all'immagine
Il bot scarica il media per analizzarlo e lo scarta subito dopo. Ciò che conserva è l'impronta. Un'immagine viene conservata solo quando una decisione viene segnalata per la revisione, fino al termine della revisione e per al massimo 30 giorni.
I dati ricavati da un messaggio, come il link al media e l'impronta, vengono eliminati dopo 30 giorni. Le impronte nelle tue liste restano finché non le rimuovi. I dettagli sono nella pagina su sicurezza e privacy.
Domande frequenti
Il rilevamento con IA può sostituire i moderatori umani?
No. Rimuove i casi ovvi in un attimo, a qualsiasi ora. I tuoi moderatori decidono comunque i casi segnalati e tutto ciò che dipende dal contesto.
Il modello impara dalle immagini del mio server?
Il bot non conserva le immagini che scansiona. Un'immagine viene conservata solo quando una decisione viene segnalata per la revisione, per al massimo 30 giorni.
L'IA legge i messaggi di testo?
No. Il modello valuta immagini, GIF e video. Il testo è gestito da filtri separati per inviti, spam e link, che non usano crediti.
Cosa succede quando la scansione fallisce?
Il messaggio resta e i crediti di quella scansione vengono rimborsati.
