So funktioniert die KI-NSFW-Erkennung auf Discord
Ein Bildmodell bewertet jedes Bild, und deine Einstellungen entscheiden, was danach passiert. Das sieht das Modell, hier irrt es, und das wird gespeichert.
Von SfwBot Team5 Min. Lesezeit
KI-NSFW-Erkennung bedeutet, dass ein Bildmodell jedes Bild ansieht, das in deinem Server gepostet wird, und meldet, wie viel Nacktheit es zeigt. Der Bot vergleicht das Ergebnis mit dem Level, das du festgelegt hast, und löscht die Nachricht oder lässt sie stehen. Dieser Artikel begleitet ein Bild durch diesen Ablauf, mit SfwBot als Beispiel.
Was das Modell mit einem Bild macht
Das Modell ist ein neuronales Netz, das mit einer großen Menge beschrifteter Bilder trainiert wurde. Es hat keine Liste verbotener Bilder, mit der es vergleicht. Es hat gelernt, was die beschrifteten Beispiele gemeinsam haben, und kann deshalb ein Bild bewerten, das es nie zuvor gesehen hat.
Für jedes Bild beantwortet es eine Frage: welches von vier Levels passt.
| Level | Name | Typische Inhalte |
|---|---|---|
| 0 | Alltäglich | Memes, Screenshots, Selfies |
| 1 | Freizügig | Badebekleidung, Unterwäsche und ähnliche Outfits |
| 2 | Angedeutete Nacktheit | Nacktheit, die bedeckt oder verborgen ist |
| 3 | Explizit | Sichtbare Nacktheit und sexuelle Inhalte |
Das Modell bewertet nur. Es kennt deine Regeln nicht und entscheidet nichts.
Dein Level entscheidet, was gelöscht wird
Du wählst das Level, ab dem geblockt wird, und alles ab diesem Level wird gelöscht. Ein neuer Server startet bei Level 3, daher werden nur explizite Inhalte entfernt. Ein Server für ein jüngeres Publikum könnte ab Level 1 blocken.
Diese Trennung ist beim Feinabstimmen des Bots wichtig. Wird zu viel entfernt, erhöhst du das Level, ab dem geblockt wird. Wird zu wenig entfernt, senkst du es. Das Modell bleibt in beiden Fällen gleich.
In den bezahlten Tarifen kannst du das verfeinern: ein eigenes Level für Illustrationen und Kunst (Plus) und ein eigenes Level für einzelne Channels oder Kategorien (Pro). Die Seite Preise listet, was jeder Tarif enthält.
Was passiert, bevor das Modell gefragt wird
Die meisten Bilder erreichen das Modell nie. SfwBot prüft zuerst drei Dinge:
- Ausnahmen. Medien in ausgenommenen Channels und von ausgenommenen Rollen werden übersprungen. Altersbeschränkte Channels werden standardmäßig übersprungen.
- Fingerabdrücke. Der Bot berechnet einen Fingerabdruck des Bildes, einen kurzen Wert, der fast gleich bleibt, wenn das Bild skaliert oder neu komprimiert wird. Steht der Fingerabdruck auf deiner Erlaubnisliste, darf das Bild passieren. Steht er auf einer Sperrliste, wird es entfernt. Beides braucht keinen Scan.
- Wiederholungen. Identische Medien, die in den letzten 24 Stunden gescannt wurden, werden nicht erneut gescannt.
Nur der Rest geht an das Modell. Dieser Scan verbraucht Credits.
GIFs und Videos
Ein Video ist zu lang, um es als ein Bild zu bewerten, daher entnimmt der Bot Einzelbilder und bewertet diese. Standardmäßig prüft er 10 Einzelbilder eines Videos und 5 eines GIFs. Mit dem tiefen Video-Scan im Pro-Tarif prüft er 30 und 15.
Das Stichprobenverfahren hat eine Folge, die du kennen solltest: Ein paar explizite Einzelbilder in einem langen Video können zwischen den Stichproben liegen. Wenn ein Clip durchkommt, nimm ihn in deine Sperrliste auf, damit sein Fingerabdruck beim nächsten Mal erkannt wird.
Dateien über 32 MB werden nicht gescannt.
Wo das Modell falsch liegt
Kein Bildmodell hat jedes Mal recht. Die üblichen Fehler sind:
- Hautfarbene Flächen. Nahaufnahmen von Händen, Gesichtern oder Essen werden manchmal zu hoch bewertet.
- Kunst. Klassische Gemälde, Skulpturen und gezeichnete Figuren sind schwerer zu bewerten als Fotos.
- Grenzwertige Outfits. Die Grenze zwischen Level 0 und Level 1 ist die unsicherste, weshalb nur wenige Server ab Level 1 blocken.
- Kleine oder zugeschnittene Bilder. Je weniger das Modell sehen kann, desto unzuverlässiger die Bewertung.
SfwBot geht davon aus, dass sich der Algorithmus auch mal irrt. Jede Löschung landet in deinem Log-Kanal mit einer Schaltfläche Als falsch melden, die sie zur Prüfung weiterleitet. Ein Bild auf deiner Erlaubnisliste wird auf deinem Server nie wieder entfernt. Eine Löschung durch das Modell kostet das Mitglied kein Vertrauen, es sei denn, du schaltest das ein. So führt ein einzelner Fehlentscheid nicht zu einem Strike.
Was mit dem Bild passiert
Der Bot lädt das Medium zur Analyse herunter und verwirft es gleich danach. Was er behält, ist der Fingerabdruck. Ein Bild selbst wird nur gespeichert, wenn eine Entscheidung zur Prüfung gemeldet wird, bis die Prüfung abgeschlossen ist und höchstens 30 Tage.
Daten, die einer Nachricht entnommen wurden, wie der Medienlink und der Fingerabdruck, werden nach 30 Tagen gelöscht. Fingerabdrücke auf deinen eigenen Listen bleiben, bis du sie entfernst. Die Einzelheiten stehen auf der Seite Sicherheit und Datenschutz.
Häufig gestellte Fragen
Kann KI-Erkennung menschliche Moderatoren ersetzen?
Nein. Sie entfernt die eindeutigen Fälle innerhalb eines Moments, zu jeder Uhrzeit. Deine Moderatoren entscheiden weiterhin die gemeldeten Fälle und alles, was vom Kontext abhängt.
Lernt das Modell aus den Bildern meines Servers?
Der Bot speichert die gescannten Bilder nicht. Ein Bild wird nur gespeichert, wenn eine Entscheidung zur Prüfung gemeldet wird, höchstens 30 Tage lang.
Liest die KI Textnachrichten?
Nein. Das Modell bewertet Bilder, GIFs und Videos. Text wird von separaten Filtern für Einladungen, Spam und Links behandelt, die keine Credits verbrauchen.
Was passiert, wenn der Scan fehlschlägt?
Die Nachricht bleibt, und die Credits für diesen Scan werden erstattet.
