Hoe AI-NSFW-detectie werkt op Discord
Een afbeeldingsmodel beoordeelt elke afbeelding en jouw instellingen bepalen wat er daarna gebeurt. Dit is wat het model ziet, waar het fouten maakt en wat er wordt bewaard.
Door SfwBot Team5 min leestijd
AI-NSFW-detectie betekent dat een afbeeldingsmodel elke afbeelding in je server bekijkt en aangeeft hoeveel naaktheid erop te zien is. De bot vergelijkt dat resultaat met het niveau dat je hebt ingesteld en verwijdert het bericht of laat het staan. Dit artikel volgt één afbeelding door dat proces, met SfwBot als voorbeeld.
Wat het model met een afbeelding doet
Het model is een neuraal netwerk dat is getraind op een grote verzameling gelabelde afbeeldingen. Het heeft geen lijst met verboden afbeeldingen om mee te vergelijken. Het heeft geleerd wat de gelabelde voorbeelden gemeen hebben, zodat het een afbeelding kan beoordelen die het nog nooit heeft gezien.
Voor elke afbeelding beantwoordt het één vraag: welk van de vier niveaus past.
| Niveau | Naam | Typische content |
|---|---|---|
| 0 | Alledaags | Memes, screenshots, selfies |
| 1 | Onthullend | Zwemkleding, ondergoed en vergelijkbare outfits |
| 2 | Gesuggereerde naaktheid | Naaktheid die bedekt of verborgen is |
| 3 | Expliciet | Zichtbare naaktheid en seksuele content |
Het model beoordeelt alleen. Het kent jouw regels niet en beslist niets.
Jouw niveau bepaalt wat wordt verwijderd
Je kiest het niveau waarop blokkeren begint en alles vanaf dat niveau wordt verwijderd. Een nieuwe server begint op niveau 3, dus alleen expliciete content wordt verwijderd. Een server voor een jonger publiek kan vanaf niveau 1 gaan blokkeren.
Deze scheiding is belangrijk bij het afstemmen van de bot. Als er te veel wordt verwijderd, verhoog je het niveau waarop blokkeren begint. Als er te weinig wordt verwijderd, verlaag je het. Het model blijft in beide gevallen hetzelfde.
In de betaalde abonnementen kun je dit verfijnen: een apart niveau voor illustraties en kunst (Plus) en een eigen niveau voor afzonderlijke kanalen of categorieën (Pro). De pagina prijzen laat zien wat elk abonnement bevat.
Wat er gebeurt voordat het model wordt gevraagd
De meeste afbeeldingen bereiken het model nooit. SfwBot controleert eerst drie dingen:
- Uitzonderingen. Media in uitgezonderde kanalen en van uitgezonderde rollen worden overgeslagen. Kanalen met leeftijdsbeperking worden standaard overgeslagen.
- Vingerafdrukken. De bot berekent een vingerafdruk van de afbeelding, een korte waarde die vrijwel gelijk blijft als de afbeelding wordt verkleind of opnieuw gecomprimeerd. Staat de vingerafdruk op je toegestane lijst, dan mag de afbeelding erdoor. Staat hij op een blokkeerlijst, dan wordt de afbeelding verwijderd. Geen van beide vraagt om een scan.
- Herhalingen. Identieke media die in de afgelopen 24 uur zijn gescand, worden niet opnieuw gescand.
Alleen wat overblijft gaat naar het model. Die scan gebruikt credits.
Gifs en video's
Een video is te lang om als één afbeelding te beoordelen, dus de bot neemt er beelden uit en beoordeelt die. Standaard controleert hij 10 beelden van een video en 5 van een gif. Met de diepe videoscan in het Pro-abonnement zijn dat er 30 en 15.
Bemonstering heeft een gevolg dat je moet kennen: een paar expliciete beelden in een lange video kunnen tussen de steekproeven vallen. Als een clip erdoor komt, zet je hem op je blokkeerlijst zodat de vingerafdruk de volgende keer wordt herkend.
Bestanden groter dan 32 MB worden niet gescand.
Waar het model fouten maakt
Geen enkel afbeeldingsmodel heeft altijd gelijk. De gebruikelijke fouten zijn:
- Huidkleurige vlakken. Close-ups van handen, gezichten of eten worden soms te hoog beoordeeld.
- Kunst. Klassieke schilderijen, beeldhouwwerk en getekende personages zijn moeilijker te beoordelen dan foto's.
- Grensgevallen in kleding. De grens tussen niveau 0 en niveau 1 is het minst zeker, en daarom blokkeren weinig servers vanaf niveau 1.
- Kleine of bijgesneden afbeeldingen. Hoe minder het model kan zien, hoe minder betrouwbaar de beoordeling.
SfwBot gaat ervan uit dat een foute beoordeling voorkomt. Elke verwijdering gaat naar je logkanaal met een knop Melden als onjuist die haar ter controle doorstuurt. Een afbeelding op je toegestane lijst wordt op je server nooit meer verwijderd. Een verwijdering door het model kost het lid geen vertrouwen, tenzij je dat inschakelt, dus één foute beoordeling leidt niet tot een strike.
Wat er met de afbeelding gebeurt
De bot downloadt de media om ze te analyseren en gooit ze direct daarna weg. Wat hij bewaart, is de vingerafdruk. Een afbeelding zelf wordt alleen bewaard als een beslissing ter controle wordt gemeld, tot de controle klaar is en maximaal 30 dagen.
Gegevens uit een bericht, zoals de medialink en de vingerafdruk, worden na 30 dagen verwijderd. Vingerafdrukken op je eigen lijsten blijven staan tot je ze verwijdert. De details staan op de pagina beveiliging en privacy.
Veelgestelde vragen
Kan AI-detectie menselijke moderators vervangen?
Nee. Het verwijdert de duidelijke gevallen binnen een moment, op elk uur. Je moderators beslissen nog steeds over de gemelde gevallen en alles wat van context afhangt.
Leert het model van de afbeeldingen op mijn server?
De bot bewaart de afbeeldingen die hij scant niet. Een afbeelding wordt alleen bewaard als een beslissing ter controle wordt gemeld, maximaal 30 dagen.
Leest de AI tekstberichten?
Nee. Het model beoordeelt afbeeldingen, gifs en video's. Tekst wordt afgehandeld door aparte filters voor uitnodigingen, spam en links, die geen credits gebruiken.
Wat gebeurt er als de scan mislukt?
Het bericht blijft staan en de credits voor die scan worden terugbetaald.
