Naar de inhoud

AI-moderatie op Discord: wat het kan en wat niet

Afbeeldingsmodellen, taalmodellen en de ingebouwde filters van Discord, met de fouten die elk maakt en het deel dat je moderators houden.

Door SfwBot Team7 min leestijd

AI-moderatie op Discord werkt goed voor afgebakende taken: een afbeeldingsmodel kan elke afbeelding beoordelen op naaktheid en de expliciete op elk uur verwijderen, en een taalmodel kan vijandige berichten markeren die geen verboden woord bevatten. Het kan context niet afwegen zoals jouw team dat doet, dus het maakt fouten in beide richtingen, en een mens moet nog steeds beslissen over bezwaren en alles wat afhangt van wie wat tegen wie zei.

De soorten automatische moderatie op Discord

Drie verschillende dingen worden AI-moderatie genoemd:

  • De eigen tools van Discord. AutoMod blokkeert berichten die overeenkomen met je woordenlijsten, de lijsten van Discord met vaak gemelde woorden, of inhoud die lijkt op veelgemelde spam. Het Filter voor expliciete afbeeldingen onder Serverinstellingen, Veiligheidsinstellingen controleert afbeeldingen op expliciete inhoud. Beide zijn gratis, in elke server ingebouwd en stoppen een bericht voordat andere leden het zien. Zet ze aan voordat je een bot toevoegt.
  • Afbeeldingsclassificaties. Een bot downloadt elke afbeelding en een getraind model beoordeelt die. SfwBot werkt zo.
  • Taalmodellen. Een bot geeft berichttekst aan een model dat die labelt, bijvoorbeeld als intimidatie of bedreiging. Sommige bots draaien een eigen model, andere sturen de tekst naar de dienst van een AI-bedrijf.

Wat een afbeeldingsmodel doet, met SfwBot als voorbeeld

De naaktdetectie van SfwBot beoordeelt elke afbeelding, gif en video op vier niveaus: Alledaags, Onthullend, Geïmpliceerde naaktheid en Expliciet. Jij kiest het niveau waarop blokkeren begint, en de bot verwijdert alles op dat niveau en hoger. Een nieuwe server blokkeert alleen Expliciet. Bij een gif of video beoordeelt de bot een selectie van frames.

Het model beoordeelt alleen. Jouw niveau, je uitgezonderde kanalen en rollen, en je toegestane lijst en blokkeerlijst bepalen wat er met het bericht gebeurt. Hoe AI-NSFW-detectie werkt volgt één afbeelding door elke stap.

SfwBot detecteert alleen naaktheid. Het zoekt niet naar geweld, gore of andere schadelijke afbeeldingen, dus die blijven bij je moderators.

Tekstmoderatie met taalmodellen

Een taalmodel kan een belediging opvangen die geen verboden woord bevat of zo is gespeld dat een filter wordt omzeild, wat een woordenlijst niet kan.

De zwakke plekken komen voort uit wat het niet kan zien. Vrienden die elkaar als grap beledigen, een citaat dat is geplaatst om iemand te melden, sarcasme of slang die het model slecht kent kunnen allemaal worden gemarkeerd, en een echte bedreiging in gewone woorden kan erdoor komen. Een tekstmodel leest ook elk bericht, dus veel meer van wat je leden schrijven verlaat Discord dan bij een afbeeldingscontrole.

SfwBot doet geen AI-tekstmoderatie. Het uitnodigingsfilter, het spamfilter en de linkbescherming volgen regels en lijsten die jij beheert, gebruiken geen credits en bewaren alleen de uitkomst van elke controle.

Verkeerde beslissingen in beide richtingen

Een weegschaal met op elke schaal een afbeeldingstegel, één kant lager

Een fout-positief verwijdert iets onschuldigs. Een fout-negatief laat iets door dat het model had moeten opvangen. Elk model maakt beide fouten.

Bij afbeeldingen zijn de gebruikelijke fout-positieven close-ups van huidkleurige oppervlakken zoals handen of eten, klassieke schilderijen en grensgevallen qua kleding. De gebruikelijke missers zijn kleine of bijgesneden afbeeldingen, en expliciete frames in een lange video die tussen de frames vallen die de bot bemonstert.

Het niveau dat je kiest verschuift de balans. Blokkeren vanaf Onthullend verwijdert ook zwemkledingfoto's, onschuldige strandfoto's inbegrepen. Wil je elk geval zien voordat er iets wordt verwijderd, zet dan Geblokkeerde inhoud verwijderen uit: de bot meldt dan alleen in je logkanaal en een moderator beslist. Glipt er een afbeelding door, voeg die dan toe aan je blokkeerlijst, zodat de vingerafdruk de volgende keer wordt herkend.

Context die een model niet kan zien

Een beeldhouwwerk in een lichtstraal naast een lege tekstballon

Een afbeeldingsmodel kijkt alleen naar de afbeelding. Het leest het bijschrift niet, kent het onderwerp van het kanaal niet en weet niet wie het heeft geplaatst.

  • Kunst. Tekeningen, schilderijen en beeldhouwwerken worden beoordeeld op wat ze tonen. Op Plus en Pro geeft Illustraties en kunst kunstwerken een eigen niveau of staat ze helemaal toe.
  • Medische en educatieve afbeeldingen. Een anatomisch diagram of een foto bij een gezondheidsvraag wordt beoordeeld als elke andere afbeelding. Voer die gesprekken in een kanaal dat je toevoegt aan Uitgezonderde kanalen, of geef dat kanaal op Pro een eigen niveau.
  • Memes. Een grove grap zonder naaktheid is voor het model Alledaags. Of de grap tegen je regels ingaat, moeten je moderators beoordelen.

Waarheen de berichten van je leden gaan

Bij elke AI-moderatie verlaat een kopie van wat leden plaatsen Discord om te worden gecontroleerd. Zoek uit wie het model draait, of een extern AI-bedrijf de inhoud ontvangt en wat er hoelang wordt opgeslagen. Wat je controleert voordat je een bot toevoegt somt de vragen op.

SfwBot downloadt elke afbeelding om die te scannen en verwijdert hem direct daarna. Het bewaart 30 dagen een vingerafdruk van de afbeelding en de link naar de media op Discord; vingerafdrukken op je eigen lijsten blijven staan tot je ze verwijdert. De servers worden in Duitsland gehost, en de lijst met verwerkers op de pagina over beveiliging en privacy noemt geen extern AI-bedrijf. Medewerkers zien een afbeelding alleen als een beslissing ter beoordeling wordt gemeld, door die ene afbeelding te openen via de opgeslagen link.

Kosten en snelheid

Elke AI-controle gebruikt rekentijd die de beheerder betaalt. Bij SfwBot gebruikt elke AI-scan credits, en het gratis abonnement bevat elke maand credits. Overeenkomsten met je toegestane lijst en blokkeerlijst kosten niets, en dezelfde media die binnen een dag opnieuw wordt geplaatst, wordt niet twee keer gescand. Als de credits op zijn, pauzeert het scannen en blijft je blokkeerlijst werken.

Een bot hoort pas van een bericht nadat Discord het heeft geplaatst. Terwijl de bot een afbeelding downloadt en beoordeelt, staat de afbeelding in het kanaal en kunnen leden die meekijken hem zien. Het filter voor expliciete afbeeldingen van Discord en AutoMod grijpen in voordat het bericht verschijnt, dus laat ze aan naast elke bot.

Waarom moderators nog over bezwaren beslissen

Een model geeft een beoordeling zonder je regels, de geschiedenis van het lid of wat die bedoelde te kennen. Controleer voordat je op een bot vertrouwt hoe een lid en een moderator een verkeerde beslissing ongedaan kunnen maken.

In SfwBot gaat elke verwijdering naar je logkanaal. Toestaan op deze server zet de afbeelding op je toegestane lijst, zodat die niet opnieuw wordt verwijderd, en Melden als onjuist stuurt hem ter beoordeling naar het SfwBot-team. Leden kunnen hun eigen verwijderingen melden via /standing. Een verwijdering door de AI-scan kost het lid geen vertrouwen, tenzij je dat aanzet in de vertrouwensinstellingen.

Bans, ruzies tussen leden en elk geval dat iemand betwist blijven bij je team. De gids over naaktdetectie behandelt elke instelling en knop.

Veelgestelde vragen

Kan AI een Discord-server zelfstandig modereren?

Nee. Het doet afgebakende, repetitieve controles, zoals expliciete afbeeldingen op elk uur verwijderen. Regels die van context afhangen, geschillen tussen leden en bezwaren vragen om een mens.

Gebruikt SfwBot AI om tekstberichten te lezen?

Nee. De AI van SfwBot beoordeelt afbeeldingen, gifs en video's op naaktheid. Uitnodigingen, spam en scamlinks worden afgehandeld door filters die regels en lijsten volgen, en die gebruiken geen credits.

Is er gratis AI-moderatie voor Discord-servers?

AutoMod en het filter voor expliciete afbeeldingen van Discord zijn gratis en in elke server ingebouwd. Bots die eigen modellen draaien hebben kosten te dekken, en het gratis abonnement van SfwBot bevat elke maand scancredits.

Gerelateerde artikelen