Så fungerar AI-baserad NSFW-detektering på Discord

AI-baserad NSFW-detektering innebär att en bildmodell tittar på varje bild som postas på din server och rapporterar hur mycket nakenhet den visar. Boten jämför resultatet med den nivå du har ställt in och tar antingen bort meddelandet eller låter det vara. Den här artikeln följer en bild genom processen, med SfwBot som exempel.

Vad modellen gör med en bild

Modellen är ett neuralt nätverk som har tränats på en stor mängd märkta bilder. Den har ingen lista över förbjudna bilder att jämföra med. Den har lärt sig vad de märkta exemplen har gemensamt, så den kan bedöma en bild den aldrig har sett.

För varje bild svarar den på en fråga: vilken av fyra nivåer som passar.

Modellen bedömer bara. Den känner inte till dina regler och avgör ingenting.

Din nivå avgör vad som tas bort

Du väljer den nivå där blockeringen börjar, och allt från den nivån och uppåt tas bort. En ny server börjar på nivå 3, så bara explicit innehåll tas bort. En server för en yngre publik kan börja blockera från nivå 1.

Den här uppdelningen är viktig när du finjusterar boten. Om för mycket tas bort höjer du nivån där blockeringen börjar. Om för lite tas bort sänker du den. Modellen är densamma i båda fallen.

I de betalda planerna kan du förfina detta: en separat nivå för illustrationer och konst (Plus) och en egen nivå för enskilda kanaler eller kategorier (Pro). Sidan priser visar vad varje plan innehåller.

Vad som händer innan modellen tillfrågas

De flesta bilder når aldrig modellen. SfwBot kontrollerar först tre saker:

1. Undantag. Media i undantagna kanaler och från undantagna roller hoppas över. Kanaler med åldersgräns hoppas över som standard.
2. Fingeravtryck. Boten beräknar ett fingeravtryck av bilden, ett kort värde som förblir nästan detsamma när bilden ändras i storlek eller komprimeras om. Om fingeravtrycket finns på din tillåtelselista släpps bilden igenom. Om det finns på en blockeringslista tas den bort. Ingetdera kräver en skanning.
3. Upprepningar. Identisk media som skannades under de senaste 24 timmarna skannas inte igen.

Bara det som blir kvar går till modellen. Den skanningen använder krediter.

GIF:ar och videor

En video är för lång för att bedömas som en enda bild, så boten tar ut bildrutor ur den och bedömer dem. Som standard kontrollerar den 10 bildrutor i en video och 5 i en GIF. Med den djupa videoskanningen i Pro-planen kontrollerar den 30 och 15.

Stickprovstagningen har en följd som du bör känna till: ett fåtal explicita bildrutor i en lång video kan hamna mellan proverna. Om ett klipp slinker igenom lägger du till det på din blockeringslista så att dess fingeravtryck fångas nästa gång.

Filer över 32 MB skannas inte.

Var modellen har fel

Ingen bildmodell har rätt varje gång. De vanliga misstagen är:

• Hudfärgade ytor. Närbilder av händer, ansikten eller mat bedöms ibland för högt.
• Konst. Klassiska målningar, skulpturer och tecknade figurer är svårare att bedöma än fotografier.
• Gränsfall i klädsel. Gränsen mellan nivå 0 och nivå 1 är den osäkraste, vilket är anledningen till att få servrar blockerar från nivå 1.
• Små eller beskurna bilder. Ju mindre modellen kan se, desto mindre tillförlitlig är bedömningen.

SfwBot behandlar ett felaktigt avgörande som något som kommer att hända. Varje borttagning går till din loggkanal med en knapp Rapportera som fel som skickar den till granskning. En bild på din tillåtelselista tas aldrig bort på din server igen. En borttagning av modellen kostar medlemmen inget förtroende om du inte slår på det, så ett felaktigt avgörande leder inte till en strike.

Vad som händer med bilden

Boten laddar ned mediet för att analysera det och kastar det direkt efteråt. Det den behåller är fingeravtrycket. En bild i sig sparas bara när ett beslut rapporteras för granskning, tills granskningen är klar och högst i 30 dagar.

Data som hämtats från ett meddelande, till exempel medielänken och fingeravtrycket, raderas efter 30 dagar. Fingeravtryck på dina egna listor finns kvar tills du tar bort dem. Detaljerna finns på sidan säkerhet och integritet.