Moderacja AI na Discordzie: co potrafi, a czego nie
Modele obrazu, modele językowe i wbudowane filtry Discorda, z błędami każdego z nich i zadaniami, które zostają po stronie moderatorów.
Autor: SfwBot Team6 min czytania

Moderacja AI na Discordzie dobrze radzi sobie z wąskimi zadaniami: model obrazu może ocenić każde zdjęcie pod kątem nagości i usuwać te jednoznaczne o każdej porze, a model językowy może oznaczyć wrogie wiadomości, które nie zawierają żadnego zakazanego słowa. Nie potrafi jednak ważyć kontekstu tak jak twój zespół, więc myli się w obu kierunkach, a o odwołaniach i o wszystkim, co zależy od tego, kto co powiedział komu, nadal musi zdecydować człowiek.
Rodzaje automatycznej moderacji na Discordzie
Moderacją AI nazywa się trzy różne rzeczy:
- Własne narzędzia Discorda. AutoMod blokuje wiadomości pasujące do twoich list słów, do list często zgłaszanych słów prowadzonych przez Discord albo do treści podobnych do powszechnie zgłaszanego spamu. Filtr treści o charakterze jednoznacznym w Ustawieniach serwera, Konfiguracji bezpieczeństwa, sprawdza obrazy pod kątem treści jednoznacznych. Oba są darmowe, wbudowane w każdy serwer i zatrzymują wiadomość, zanim zobaczą ją inni członkowie. Włącz je, zanim dodasz jakiegokolwiek bota.
- Klasyfikatory obrazów. Bot pobiera każdy obraz, a wytrenowany model go ocenia. Tak działa SfwBot.
- Modele językowe. Bot przekazuje tekst wiadomości modelowi, który go oznacza, na przykład jako nękanie lub groźbę. Niektóre boty uruchamiają własny model, inne wysyłają tekst do usługi firmy zajmującej się AI.
Co robi model obrazu, na przykładzie SfwBot
Wykrywanie nagości w SfwBot ocenia każdy obraz, GIF i film na czterech poziomach: Codzienny, Odsłaniający, Sugerowana nagość i Jednoznaczny. Wybierasz poziom, od którego zaczyna się blokowanie, a bot usuwa wszystko na tym poziomie i wyżej. Nowy serwer blokuje tylko poziom Jednoznaczny. W przypadku GIF-a lub filmu bot ocenia próbkę klatek.
Model tylko ocenia. O losie wiadomości decydują twój poziom, kanały i role wyłączone z kontroli oraz twoje listy dozwolonych i blokowanych. Jak działa wykrywanie NSFW przez AI prowadzi jeden obraz przez wszystkie kroki.
SfwBot wykrywa tylko nagość. Nie szuka przemocy, drastycznych scen ani innych szkodliwych obrazów, więc to pozostaje w gestii moderatorów.
Moderacja tekstu za pomocą modeli językowych
Model językowy potrafi wychwycić obelgę, która nie zawiera zakazanego słowa albo jest zapisana tak, by obejść filtr, czego lista słów nie zrobi.
Jego słabe strony wynikają z tego, czego nie widzi. Przyjaciele żartobliwie się obrażający, cytat wklejony po to, by kogoś zgłosić, sarkazm albo slang, który model zna słabo, mogą zostać oznaczone, a prawdziwa groźba w zwykłych słowach może przejść. Model tekstu czyta też każdą wiadomość, więc znacznie więcej tego, co piszą twoi członkowie, opuszcza Discorda niż przy sprawdzaniu obrazów.
SfwBot nie prowadzi moderacji tekstu przez AI. Jego filtr zaproszeń, filtr spamu i ochrona linków działają według reguł i list, które kontrolujesz, nie zużywają kredytów i zachowują tylko wynik każdego sprawdzenia.
Błędne decyzje w obie strony

Fałszywy alarm usuwa coś niewinnego. Fałszywy brak alarmu przepuszcza coś, co model powinien był wychwycić. Każdy model popełnia oba błędy.
W przypadku obrazów typowe fałszywe alarmy to zbliżenia powierzchni w kolorze skóry, takich jak dłonie czy jedzenie, klasyczne obrazy i ubrania na granicy. Typowe pominięcia to małe lub przycięte obrazy oraz jednoznaczne klatki w długim filmie, które wypadają między klatkami próbkowanymi przez bota.
Wybrany poziom przesuwa tę równowagę. Blokowanie od poziomu Odsłaniający usuwa także zdjęcia w strojach kąpielowych, w tym niewinne zdjęcia z plaży. Aby zobaczyć każdy przypadek, zanim cokolwiek zostanie usunięte, wyłącz Usuwaj zablokowane treści: bot tylko zgłasza sprawę na twoim kanale logów, a decyduje moderator. Gdy obraz prześlizgnie się przez filtr, dodaj go do listy blokowanych, aby jego odcisk został wychwycony następnym razem.
Kontekst, którego model nie widzi

Model obrazu patrzy wyłącznie na obraz. Nie czyta podpisu, nie zna tematu kanału i nie wie, kto go opublikował.
- Sztuka. Rysunki, obrazy i rzeźby są oceniane według tego, co przedstawiają. W planach Plus i Pro opcja Ilustracje i sztuka daje grafikom osobny poziom albo zupełnie je dopuszcza.
- Obrazy medyczne i edukacyjne. Diagram anatomiczny lub zdjęcie do pytania o zdrowie jest oceniane jak każdy inny obraz. Prowadź takie rozmowy na kanale dodanym do Kanałów wyłączonych albo w planie Pro nadaj temu kanałowi osobny poziom.
- Memy. Rubaszny żart bez nagości jest dla modelu poziomem Codziennym. To, czy żart łamie twoje zasady, oceniają twoi moderatorzy.
Dokąd trafiają wpisy twoich członków
Przy każdej moderacji AI kopia tego, co publikują członkowie, opuszcza Discorda, by zostać sprawdzona. Dowiedz się, kto prowadzi model, czy treści trafiają do zewnętrznej firmy AI oraz co jest przechowywane i jak długo. Co sprawdzić, zanim dodasz bota zawiera listę pytań.
SfwBot pobiera każdy obraz, aby go przeskanować, i od razu po tym go usuwa. Przez 30 dni przechowuje odcisk obrazu i link do multimediów na Discordzie; odciski na twoich własnych listach zostają, dopóki ich nie usuniesz. Jego serwery są hostowane w Niemczech, a lista podmiotów przetwarzających na stronie o bezpieczeństwie i prywatności nie wymienia żadnej zewnętrznej firmy AI. Pracownicy widzą obraz tylko wtedy, gdy decyzja została zgłoszona do sprawdzenia, i otwierają wówczas ten jeden obraz przez zapisany link.
Koszt i szybkość
Każde sprawdzenie przez AI zużywa czas obliczeniowy, który opłaca operator. W SfwBot każde skanowanie AI zużywa kredyty, a darmowy plan zawiera kredyty co miesiąc. Trafienia na twoich listach dozwolonych i blokowanych nic nie kosztują, a te same multimedia opublikowane ponownie w ciągu doby nie są skanowane dwa razy. Gdy kredyty się skończą, skanowanie jest wstrzymane, a twoja lista blokowanych nadal działa.
Bot dowiaduje się o wiadomości dopiero po tym, jak Discord ją opublikuje. Kiedy bot pobiera i ocenia obraz, jest on już na kanale i widzą go członkowie, którzy akurat patrzą. Filtr treści jednoznacznych Discorda i AutoMod działają, zanim wiadomość się pojawi, więc zostaw je włączone obok każdego bota.
Dlaczego o odwołaniach nadal decydują moderatorzy
Model wystawia ocenę, nie znając twoich zasad, historii członka ani tego, co miał na myśli. Zanim zaczniesz polegać na bocie, sprawdź, jak członek i moderator mogą cofnąć błędną decyzję.
W SfwBot każde usunięcie trafia na twój kanał logów. Zezwól na tym serwerze dodaje obraz do twojej listy dozwolonych, aby nie został ponownie usunięty, a Zgłoś jako błąd wysyła go do zespołu SfwBot do sprawdzenia. Członkowie mogą zgłaszać własne usunięcia przez /standing. Usunięcie po skanie AI nie kosztuje członka zaufania, chyba że włączysz to w ustawieniach zaufania.
Bany, spory między członkami i każdy przypadek, który ktoś kwestionuje, zostają po stronie twojego zespołu. Przewodnik po wykrywaniu nagości opisuje każde ustawienie i przycisk.
Najczęstsze pytania
Czy AI może samodzielnie moderować serwer Discord?
Nie. Radzi sobie z wąskimi, powtarzalnymi kontrolami, takimi jak usuwanie jednoznacznych obrazów o każdej porze. Zasady zależne od kontekstu, spory między członkami i odwołania wymagają człowieka.
Czy SfwBot używa AI do czytania wiadomości tekstowych?
Nie. AI w SfwBot ocenia obrazy, GIF-y i filmy pod kątem nagości. Zaproszeniami, spamem i linkami wyłudzającymi zajmują się filtry działające według reguł i list, które nie zużywają kredytów.
Czy istnieje darmowa moderacja AI dla serwerów Discord?
AutoMod i filtr treści jednoznacznych Discorda są darmowe i wbudowane w każdy serwer. Boty z własnymi modelami mają koszty do pokrycia, a darmowy plan SfwBot zawiera kredyty na skanowanie co miesiąc.


