AI-moderering på Discord: vad den kan och inte kan
Bildmodeller, språkmodeller och Discords inbyggda filter, med de misstag var och en gör och den del som dina moderatorer behåller.
Av SfwBot Team6 min läsning

AI-moderering på Discord fungerar bra för avgränsade uppgifter: en bildmodell kan bedöma varje bild för nakenhet och ta bort de explicita när som helst på dygnet, och en språkmodell kan flagga fientliga meddelanden som inte innehåller något förbjudet ord. Den kan inte väga in sammanhang som ditt team gör, så den gör misstag åt båda hållen, och en människa måste fortfarande avgöra överklaganden och allt som beror på vem som sa vad till vem.
Olika slags automatisk moderering på Discord
Tre olika saker kallas AI-moderering:
- Discords egna verktyg. AutoMod blockerar meddelanden som matchar dina ordlistor, Discords listor över ofta flaggade ord eller innehåll som liknar allmänt rapporterad skräppost. Filter för explicita bilder under Serverinställningar, Säkerhetsinställningar kontrollerar bilder efter explicit innehåll. Båda är gratis, inbyggda i varje server och stoppar ett meddelande innan andra medlemmar ser det. Slå på dem innan du lägger till någon bot.
- Bildklassificerare. En bot laddar ner varje bild och en tränad modell bedömer den. SfwBot fungerar så.
- Språkmodeller. En bot skickar meddelandetext till en modell som ger den en etikett, till exempel trakasserier eller hot. Vissa botar kör sin egen modell, andra skickar texten till ett AI-företags tjänst.
Vad en bildmodell gör, med SfwBot som exempel
SfwBots nakenhetsdetektering bedömer varje bild, GIF och video på fyra nivåer: Vardagligt, Avslöjande, Antydd nakenhet och Explicit. Du väljer nivån där blockeringen börjar, och boten tar bort allt på den nivån och däröver. En ny server blockerar bara Explicit. För en GIF eller video bedömer boten ett urval av bildrutor.
Modellen bedömer bara. Din nivå, dina undantagna kanaler och roller samt dina tillåtelse- och blockeringslistor avgör vad som händer med meddelandet. Så fungerar AI-baserad NSFW-detektering följer en bild genom varje steg.
SfwBot upptäcker bara nakenhet. Den letar inte efter våld, blodiga bilder eller andra skadliga bilder, så de ligger kvar hos dina moderatorer.
Textmoderering med språkmodeller
En språkmodell kan fånga ett förolämpande meddelande som inte innehåller något förbjudet ord eller som är stavat för att kringgå ett filter, vilket en ordlista inte kan.
Dess svaga punkter kommer av det den inte kan se. Vänner som förolämpar varandra på skämt, ett citat som postats för att anmäla någon, sarkasm eller slang som modellen kan dåligt kan alla flaggas, och ett verkligt hot i vanliga ord kan slippa igenom. En textmodell läser dessutom varje meddelande, så mycket mer av dina medlemmars text lämnar Discord än vid en bildkontroll.
SfwBot gör ingen AI-moderering av text. Dess inbjudningsfilter, skräppostfilter och länkskydd följer regler och listor som du styr, använder inga krediter och sparar bara utfallet av varje kontroll.
Felbedömningar åt båda hållen

Ett falskt positivt resultat tar bort något ofarligt. Ett falskt negativt släpper igenom något som modellen borde ha fångat. Varje modell gör båda.
För bilder är de vanliga falska positiva närbilder av hudfärgade ytor som händer eller mat, klassiska målningar och gränsfall bland kläder. De vanliga missarna är små eller beskurna bilder samt explicita bildrutor i en lång video som hamnar mellan de rutor boten tar ut.
Nivån du väljer flyttar balansen. Blockering från Avslöjande tar också bort badkläder, ofarliga strandbilder inräknade. Om du vill se varje fall innan något tas bort slår du av Ta bort blockerat innehåll: då rapporterar boten bara till din loggkanal och en moderator avgör. När en bild slinker igenom lägger du till den i din blockeringslista så att dess fingeravtryck fångas nästa gång.
Sammanhang som en modell inte kan se

En bildmodell tittar bara på bilden. Den läser inte bildtexten, känner inte till kanalens ämne och vet inte vem som postade.
- Konst. Teckningar, målningar och skulpturer bedöms efter vad de visar. På Plus och Pro kan Illustrationer och konst ge konstverk en egen nivå eller tillåta dem helt.
- Medicinska och pedagogiska bilder. Ett anatomidiagram eller ett foto till en hälsofråga bedöms som vilken bild som helst. Håll de diskussionerna i en kanal som du lägger till under Undantagna kanaler, eller ge kanalen en egen nivå på Pro.
- Memes. Ett grovt skämt utan nakenhet är Vardagligt för modellen. Om skämtet bryter mot dina regler är något dina moderatorer får bedöma.
Vart dina medlemmars inlägg skickas
Vid all AI-moderering lämnar en kopia av det medlemmarna postar Discord för att kontrolleras. Ta reda på vem som driver modellen, om ett externt AI-företag tar emot innehållet och vad som lagras och hur länge. Vad du ska kontrollera innan du lägger till en bot listar frågorna.
SfwBot laddar ner varje bild för att skanna den och kasserar den direkt efteråt. Den sparar ett fingeravtryck av bilden och länken till mediet på Discord i 30 dagar; fingeravtryck på dina egna listor ligger kvar tills du tar bort dem. Dess servrar finns i Tyskland, och listan över personuppgiftsbiträden på sidan om säkerhet och integritet nämner inget externt AI-företag. Personalen ser en bild bara när ett beslut rapporteras för granskning, genom att öppna just den bilden via den sparade länken.
Kostnad och hastighet
Varje AI-kontroll använder beräkningstid som operatören betalar för. Med SfwBot använder varje AI-skanning krediter, och den kostnadsfria planen innehåller krediter varje månad. Träffar på dina tillåtelse- och blockeringslistor kostar ingenting, och samma media som postas igen inom ett dygn skannas inte två gånger. När krediterna tar slut pausas skanningen och din blockeringslista fortsätter fungera.
En bot får veta om ett meddelande först efter att Discord har publicerat det. Medan boten laddar ner och bedömer en bild finns bilden i kanalen och medlemmar som tittar kan se den. Discords filter för explicita bilder och AutoMod agerar innan meddelandet visas, så låt dem vara på vid sidan av en bot.
Varför moderatorer fortfarande avgör överklaganden
En modell ger en bedömning utan att känna till dina regler, medlemmens historik eller vad medlemmen menade. Innan du förlitar dig på en bot, kontrollera hur en medlem och en moderator kan ångra en felaktig bedömning.
I SfwBot går varje borttagning till din loggkanal. Tillåt på den här servern lägger bilden i din tillåtelselista så att den inte tas bort igen, och Rapportera som fel skickar den till SfwBot-teamet för granskning. Medlemmar kan rapportera sina egna borttagningar via /standing. En borttagning genom AI-skanningen kostar medlemmen inget förtroende om du inte slår på det i förtroendeinställningarna.
Bannlysningar, tvister mellan medlemmar och varje fall som någon bestrider ligger kvar hos ditt team. Guiden för nakenhetsdetektering går igenom varje inställning och knapp.
Vanliga frågor
Kan AI moderera en Discord-server på egen hand?
Nej. Den klarar avgränsade, repetitiva kontroller som att ta bort explicita bilder när som helst på dygnet. Regler som beror på sammanhang, tvister mellan medlemmar och överklaganden kräver en människa.
Använder SfwBot AI för att läsa textmeddelanden?
Nej. SfwBots AI bedömer bilder, GIF:ar och videor för nakenhet. Inbjudningar, skräppost och bedrägerilänkar hanteras av filter som följer regler och listor, och de använder inga krediter.
Finns det gratis AI-moderering för Discord-servrar?
Discords AutoMod och filter för explicita bilder är gratis och inbyggda i varje server. Botar som kör egna modeller har kostnader att täcka, och SfwBots kostnadsfria plan innehåller skanningskrediter varje månad.


