AI moderace na Discordu: co zvládá a co ne
Modely pro obrázky, jazykové modely a vestavěné filtry Discordu, s chybami každého z nich a částí práce, která zůstává moderátorům.
Autor: SfwBot TeamČtení: 6 min

AI moderace na Discordu dobře funguje u úzce vymezených úkolů: model pro obrázky ohodnotí každý obrázek z hlediska nahoty a explicitní smaže v jakoukoli hodinu, jazykový model označí nepřátelské zprávy, které neobsahují žádné zakázané slovo. Kontext neposoudí tak jako váš tým, takže chybuje oběma směry a o odvoláních i o všem, co závisí na tom, kdo komu co řekl, musí stále rozhodnout člověk.
Druhy automatické moderace na Discordu
Jako AI moderace se označují tři různé věci:
- Vlastní nástroje Discordu. AutoMod blokuje zprávy, které odpovídají vašim seznamům slov, seznamům běžně nahlašovaných slov od Discordu nebo obsahu podobnému široce hlášenému spamu. Filtr Explicitní obrázky v Nastavení serveru, Nastavení bezpečnosti kontroluje obrázky na explicitní obsah. Obojí je zdarma, součástí každého serveru a zprávu zastaví dřív, než ji uvidí ostatní členové. Zapni je dřív, než přidáš jakéhokoli bota.
- Klasifikátory obrázků. Bot stáhne každý obrázek a natrénovaný model ho ohodnotí. Takto funguje SfwBot.
- Jazykové modely. Bot předá text zprávy modelu, který ji označí, například jako obtěžování nebo výhrůžku. Někteří boti provozují vlastní model, jiní posílají text do služby AI společnosti.
Co dělá model pro obrázky, na příkladu SfwBot
Detekce nahoty v SfwBot hodnotí každý obrázek, GIF a video na čtyřech úrovních: Běžné, Odhalující, Naznačená nahota a Explicitní. Vybereš úroveň, od které se blokuje, a bot smaže vše na této úrovni a výš. Nový server blokuje jen Explicitní. U GIFu nebo videa bot ohodnotí vzorek snímků.
Model pouze hodnotí. O osudu zprávy rozhoduje tvoje úroveň, vyňaté kanály a role a seznamy povolených a blokovaných. Jak funguje AI detekce NSFW provází jedním obrázkem všemi kroky.
SfwBot detekuje pouze nahotu. Nehledá násilí, krvavé scény ani jiné škodlivé obrázky, ty zůstávají na tvých moderátorech.
Moderace textu pomocí jazykových modelů
Jazykový model zachytí urážku, která neobsahuje zakázané slovo nebo je napsaná tak, aby filtr obešla, což seznam slov nedokáže.
Jeho slabá místa plynou z toho, co nevidí. Přátelé, kteří se ze žertu urážejí, citát zveřejněný kvůli nahlášení někoho, sarkasmus nebo slang, který model zná špatně, to vše může být označeno, a skutečná hrozba běžnými slovy může projít. Textový model navíc čte každou zprávu, takže z Discordu odchází mnohem víc textů tvých členů než při kontrole obrázků.
SfwBot AI moderaci textu nedělá. Filtr pozvánek, filtr spamu a ochrana odkazů se řídí pravidly a seznamy, které máš pod kontrolou, nespotřebovávají kredity a uchovávají jen výsledek každé kontroly.
Chybná rozhodnutí oběma směry

Falešně pozitivní výsledek odstraní něco neškodného. Falešně negativní výsledek propustí něco, co měl model zachytit. Každý model dělá obojí.
U obrázků jsou obvyklými falešně pozitivními výsledky detailní záběry povrchů barvy kůže, například rukou nebo jídla, klasické malby a hraniční oblečení. Obvykle uniknou malé nebo oříznuté obrázky a explicitní snímky v dlouhém videu, které leží mezi snímky vybranými botem.
Zvolená úroveň posouvá rovnováhu. Blokování od úrovně Odhalující odstraní i fotky plavek, včetně neškodných snímků z pláže. Pokud chceš vidět každý případ dřív, než se cokoli smaže, vypni Mazat blokovaný obsah: bot pak jen hlásí do kanálu záznamů a rozhodne moderátor. Když obrázek projde, přidej ho do seznamu blokovaných, aby se jeho otisk příště zachytil.
Kontext, který model nevidí

Model pro obrázky vidí jen samotný obrázek. Nečte popisek, nezná téma kanálu a neví, kdo obrázek zveřejnil.
- Umění. Kresby, obrazy a sochy se hodnotí podle toho, co zobrazují. V plánech Plus a Pro lze v Ilustrace a umění dát uměleckým dílům vlastní úroveň nebo je zcela povolit.
- Lékařské a vzdělávací obrázky. Anatomické schéma nebo fotka k dotazu na zdraví se hodnotí jako každý jiný obrázek. Takové diskuse veď v kanálu, který přidáš do Vyňatých kanálů, nebo mu v plánu Pro dej vlastní úroveň.
- Memy. Hrubý vtip bez nahoty je pro model Běžný. Zda vtip porušuje vaše pravidla, posoudí moderátoři.
Kam míří příspěvky tvých členů
U jakékoli AI moderace odchází kopie toho, co členové zveřejní, z Discordu ke kontrole. Zjisti, kdo model provozuje, zda obsah dostává externí AI společnost a co se ukládá a jak dlouho. Co zkontrolovat, než přidáš bota uvádí otázky.
SfwBot stáhne každý obrázek ke skenování a hned poté ho zahodí. Otisk obrázku a odkaz na médium na Discordu uchovává 30 dní; otisky na tvých vlastních seznamech zůstávají, dokud je neodebereš. Servery jsou hostované v Německu a seznam zpracovatelů na stránce o zabezpečení a soukromí neuvádí žádnou externí AI společnost. Zaměstnanci vidí obrázek jen tehdy, když je rozhodnutí nahlášeno ke kontrole, a to otevřením právě toho obrázku přes uložený odkaz.
Cena a rychlost
Každá AI kontrola spotřebuje výpočetní čas, který provozovatel platí. V SfwBot každý AI sken spotřebuje kredity a bezplatný plán zahrnuje kredity každý měsíc. Shody na tvých seznamech povolených a blokovaných nestojí nic a stejné médium zveřejněné znovu během dne se neskenuje dvakrát. Když kredity dojdou, skenování se pozastaví a seznam blokovaných dál funguje.
Bot se o zprávě dozví až poté, co ji Discord zveřejnil. Zatímco bot obrázek stahuje a hodnotí, obrázek je v kanálu a členové, kteří se dívají, ho vidí. Filtr explicitních obrázků Discordu a AutoMod zasahují dřív, než se zpráva objeví, proto je nech zapnuté i vedle jakéhokoli bota.
Proč o odvoláních stále rozhodují moderátoři
Model dává hodnocení, aniž by znal vaše pravidla, historii člena nebo jeho záměr. Než se na bota spolehneš, ověř, jak může člen i moderátor chybné rozhodnutí vrátit.
V SfwBot jde každé odstranění do kanálu záznamů. Povolit na tomto serveru přidá obrázek na seznam povolených, aby se znovu neodstranil, a Nahlásit jako chybné ho pošle týmu SfwBot ke kontrole. Členové mohou svá odstranění nahlásit přes /standing. Odstranění po AI skenu členovi neubere důvěru, pokud to v nastavení důvěry nezapneš.
Bany, spory mezi členy a každý případ, který někdo zpochybní, zůstávají na tvém týmu. Průvodce detekcí nahoty popisuje každé nastavení a tlačítko.
Často kladené otázky
Může AI moderovat server na Discordu sama?
Ne. Zvládá úzké, opakující se kontroly, například odstraňování explicitních obrázků v jakoukoli hodinu. Pravidla závislá na kontextu, spory mezi členy a odvolání vyžadují člověka.
Čte SfwBot textové zprávy pomocí AI?
Ne. AI v SfwBot hodnotí obrázky, GIFy a videa z hlediska nahoty. Pozvánky, spam a podvodné odkazy řeší filtry podle pravidel a seznamů a nespotřebovávají kredity.
Existuje bezplatná AI moderace pro servery na Discordu?
AutoMod a filtr explicitních obrázků Discordu jsou zdarma a součástí každého serveru. Boti s vlastními modely mají náklady, které musí pokrýt, a bezplatný plán SfwBot zahrnuje každý měsíc kredity na skeny.


