Zum Inhalt springen

KI-Moderation auf Discord: was sie kann und was nicht

Bildmodelle, Sprachmodelle und die eingebauten Filter von Discord, mit den Fehlern, die jedes macht, und dem Teil, der bei deinem Moderationsteam bleibt.

Von SfwBot Team7 Min. Lesezeit

KI-Moderation auf Discord funktioniert gut bei klar umrissenen Aufgaben: Ein Bildmodell kann jedes Bild auf Nacktheit prüfen und die expliziten zu jeder Tageszeit löschen, und ein Sprachmodell kann feindselige Nachrichten markieren, die kein verbotenes Wort enthalten. Den Kontext kann sie aber nicht so abwägen wie dein Team. Deshalb macht sie Fehler in beide Richtungen, und ein Mensch muss Einsprüche und alles entscheiden, was davon abhängt, wer was zu wem gesagt hat.

Die Arten der automatischen Moderation auf Discord

Drei verschiedene Dinge werden KI-Moderation genannt:

  • Die eigenen Werkzeuge von Discord. AutoMod blockiert Nachrichten, die zu deinen Wortlisten, zu den Listen häufig markierter Wörter von Discord oder zu Inhalten passen, die weit verbreitetem, oft gemeldetem Spam ähneln. Der Filter für explizite Bilder unter Servereinstellungen, Sicherheitseinrichtung prüft Bilder auf explizite Inhalte. Beide sind kostenlos, in jedem Server eingebaut und stoppen eine Nachricht, bevor andere Mitglieder sie sehen. Schalte sie ein, bevor du einen Bot hinzufügst.
  • Bildklassifizierer. Ein Bot lädt jedes Bild herunter, und ein trainiertes Modell bewertet es. SfwBot arbeitet so.
  • Sprachmodelle. Ein Bot gibt den Nachrichtentext an ein Modell weiter, das ihn einordnet, zum Beispiel als Belästigung oder Drohung. Manche Bots betreiben ein eigenes Modell, andere schicken den Text an den Dienst eines KI-Unternehmens.

Was ein Bildmodell tut, am Beispiel von SfwBot

Die Nacktheitserkennung von SfwBot bewertet jedes Bild, jedes GIF und jedes Video auf vier Stufen: Alltäglich, Freizügig, Angedeutete Nacktheit und Explizit. Du wählst die Stufe, ab der blockiert wird, und der Bot löscht alles auf dieser Stufe und darüber. Ein neuer Server blockiert nur Explizit. Bei einem GIF oder Video bewertet der Bot eine Auswahl von Frames.

Das Modell bewertet nur. Deine Stufe, deine ausgenommenen Kanäle und Rollen sowie deine Erlaubnis- und Sperrlisten entscheiden, was mit der Nachricht geschieht. So funktioniert KI-NSFW-Erkennung begleitet ein Bild durch alle Schritte.

SfwBot erkennt nur Nacktheit. Es sucht nicht nach Gewalt, Gore oder anderen schädlichen Bildern, die bleiben bei deinen Moderatoren.

Textmoderation mit Sprachmodellen

Ein Sprachmodell kann eine Beleidigung erkennen, die kein verbotenes Wort enthält oder so geschrieben ist, dass sie einen Filter umgeht. Eine Wortliste kann das nicht.

Seine Schwächen kommen daher, was es nicht sehen kann. Freunde, die sich im Spaß beleidigen, ein Zitat, das zur Meldung von jemandem gepostet wird, Sarkasmus oder Slang, den das Modell schlecht kennt: All das kann markiert werden, und eine echte Drohung in gewöhnlichen Worten kann durchrutschen. Ein Textmodell liest außerdem jede Nachricht, deshalb verlässt weit mehr von dem, was deine Mitglieder schreiben, Discord als bei einer Bildprüfung.

SfwBot moderiert Text nicht mit KI. Der Einladungsfilter, der Spam-Filter und der Linkschutz folgen Regeln und Listen, die du kontrollierst, verbrauchen keine Credits und speichern nur das Ergebnis jeder Prüfung.

Fehlentscheidungen in beide Richtungen

Eine Balkenwaage mit einer Bildkachel auf jeder Schale, eine Seite tiefer

Ein falsch positives Ergebnis entfernt etwas Harmloses. Ein falsch negatives lässt etwas durch, das das Modell hätte erkennen sollen. Jedes Modell macht beides.

Bei Bildern sind die üblichen falsch positiven Treffer Nahaufnahmen hautfarbener Flächen wie Hände oder Essen, klassische Gemälde und grenzwertige Outfits. Die üblichen Fehlschläge sind kleine oder zugeschnittene Bilder sowie explizite Frames in einem langen Video, die zwischen den Frames liegen, die der Bot auswählt.

Die gewählte Stufe verschiebt das Gleichgewicht. Wer ab Freizügig blockiert, entfernt auch Badebekleidungsfotos, harmlose Strandbilder eingeschlossen. Um jeden Fall zu sehen, bevor etwas gelöscht wird, schalte Blockierte Inhalte löschen aus: Der Bot meldet dann nur an deinen Log-Kanal, und ein Mitglied des Moderationsteams entscheidet. Wenn ein Bild durchrutscht, setze es auf deine Sperrliste, damit sein Fingerabdruck beim nächsten Mal erkannt wird.

Kontext, den ein Modell nicht sieht

Eine Skulpturenbüste im Lichtstrahl neben einer leeren Sprechblase

Ein Bildmodell betrachtet nur das Bild. Es liest die Bildunterschrift nicht, kennt das Thema des Kanals nicht und weiß nicht, wer gepostet hat.

  • Kunst. Zeichnungen, Gemälde und Skulpturen werden danach bewertet, was sie zeigen. Mit Plus und Pro gibt Illustrationen und Kunst Kunstwerken eine eigene Stufe oder erlaubt sie vollständig.
  • Medizinische und lehrreiche Bilder. Ein Anatomiediagramm oder ein Foto zu einer Gesundheitsfrage wird wie jedes andere Bild bewertet. Führe solche Gespräche in einem Kanal, den du unter Ausgenommene Kanäle einträgst, oder gib diesem Kanal mit Pro eine eigene Stufe.
  • Memes. Ein derber Witz ohne Nacktheit ist für das Modell Alltäglich. Ob der Witz gegen deine Regeln verstößt, beurteilt dein Moderationsteam.

Wohin die Beiträge deiner Mitglieder gehen

Bei jeder KI-Moderation verlässt eine Kopie dessen, was Mitglieder posten, Discord, damit sie geprüft werden kann. Finde heraus, wer das Modell betreibt, ob ein externes KI-Unternehmen die Inhalte erhält und was wie lange gespeichert wird. Was du prüfen solltest, bevor du einen Bot hinzufügst listet die Fragen auf.

SfwBot lädt jedes Bild zum Scannen herunter und verwirft es gleich danach. Es behält einen Fingerabdruck des Bildes und den Link zum Medium auf Discord für 30 Tage; Fingerabdrücke auf deinen eigenen Listen bleiben, bis du sie entfernst. Die Server stehen in Deutschland, und die Liste der Auftragsverarbeiter auf der Seite zu Sicherheit und Datenschutz nennt kein externes KI-Unternehmen. Das Team sieht ein Bild nur, wenn eine Entscheidung zur Prüfung gemeldet wird, und öffnet dann genau dieses eine Bild über den gespeicherten Link.

Kosten und Geschwindigkeit

Jede KI-Prüfung verbraucht Rechenzeit, die der Betreiber bezahlt. Bei SfwBot verbraucht jeder KI-Scan Credits, und der kostenlose Tarif enthält jeden Monat Credits. Treffer auf deinen Erlaubnis- und Sperrlisten kosten nichts, und dasselbe Medium wird innerhalb eines Tages nicht zweimal gescannt. Wenn die Credits aufgebraucht sind, pausiert das Scannen, und deine Sperrliste arbeitet weiter.

Ein Bot erfährt von einer Nachricht erst, nachdem Discord sie veröffentlicht hat. Während der Bot ein Bild herunterlädt und bewertet, ist das Bild im Kanal, und Mitglieder, die gerade hinsehen, können es sehen. Der Filter für explizite Bilder von Discord und AutoMod greifen, bevor die Nachricht erscheint. Lass sie deshalb neben jedem Bot eingeschaltet.

Warum Moderatorinnen und Moderatoren weiter über Einsprüche entscheiden

Ein Modell liefert eine Bewertung, ohne deine Regeln, den Verlauf des Mitglieds oder dessen Absicht zu kennen. Prüfe, bevor du dich auf einen Bot verlässt, wie ein Mitglied und ein Mitglied des Moderationsteams eine Fehlentscheidung rückgängig machen können.

In SfwBot geht jede Entfernung in deinen Log-Kanal. In diesem Server erlauben setzt das Bild auf deine Erlaubnisliste, damit es nicht erneut entfernt wird, und Als falsch melden schickt es zur Prüfung an das SfwBot-Team. Mitglieder können ihre eigenen Entfernungen über /standing melden. Eine Entfernung durch den KI-Scan kostet das Mitglied kein Vertrauen, es sei denn, du schaltest das in den Vertrauenseinstellungen ein.

Bans, Streit zwischen Mitgliedern und jeder Fall, den jemand anficht, bleiben bei deinem Team. Die Anleitung zur Nacktheitserkennung erklärt jede Einstellung und jede Schaltfläche.

Häufig gestellte Fragen

Kann KI einen Discord-Server allein moderieren?

Nein. Sie übernimmt klar umrissene, wiederkehrende Prüfungen, etwa explizite Bilder zu jeder Tageszeit zu entfernen. Regeln, die vom Kontext abhängen, Streit zwischen Mitgliedern und Einsprüche brauchen einen Menschen.

Liest SfwBot Textnachrichten mit KI?

Nein. Die KI von SfwBot bewertet Bilder, GIFs und Videos auf Nacktheit. Einladungen, Spam und Scam-Links übernehmen Filter, die Regeln und Listen folgen und keine Credits verbrauchen.

Gibt es kostenlose KI-Moderation für Discord-Server?

AutoMod und der Filter für explizite Bilder von Discord sind kostenlos und in jedem Server eingebaut. Bots mit eigenen Modellen haben Kosten zu decken, und der kostenlose Tarif von SfwBot enthält jeden Monat Scan-Credits.

Verwandte Artikel