Jak funguje AI detekce NSFW na Discordu

AI detekce NSFW znamená, že model obrazu prohlédne každý obrázek zveřejněný na tvém serveru a oznámí, kolik nahoty ukazuje. Bot výsledek porovná s nastavenou úrovní a zprávu buď smaže, nebo ji nechá být. Tento článek sleduje jeden obrázek celým procesem na příkladu SfwBot.

Co model s obrázkem dělá

Model je neuronová síť natrénovaná na velké sadě označených obrázků. Nemá seznam zakázaných obrázků, se kterými by porovnával. Naučil se, co mají označené příklady společné, a dokáže tak ohodnotit obrázek, který nikdy neviděl.

U každého obrázku odpovídá na jedinou otázku: která ze čtyř úrovní sedí.

Model pouze hodnotí. Tvá pravidla nezná a o ničem nerozhoduje.

O mazání rozhoduje tvoje úroveň

Zvolíš úroveň, od které blokování začíná, a smaže se vše od ní výš. Nový server začíná na úrovni 3, takže se odstraňuje jen explicitní obsah. Server pro mladší publikum může začít blokovat od úrovně 1.

Toto rozdělení je důležité při ladění bota. Pokud se odstraňuje příliš mnoho, zvýšíš úroveň, od které blokování začíná. Pokud příliš málo, snížíš ji. Model zůstává v obou případech stejný.

V placených tarifech to lze zjemnit: samostatná úroveň pro ilustrace a umění (Plus) a vlastní úroveň pro jednotlivé kanály nebo kategorie (Pro). Co který tarif obsahuje, najdeš na stránce ceníku.

Co se děje dřív, než se model zeptá

Většina obrázků se k modelu nikdy nedostane. SfwBot nejdřív zkontroluje tři věci:

1. Výjimky. Média ve vyjmutých kanálech a od vyjmutých rolí se přeskočí. Kanály s věkovým omezením se ve výchozím nastavení přeskakují.
2. Otisky. Bot vypočítá otisk obrázku, krátkou hodnotu, která zůstává téměř stejná, i když se obrázek zmenší nebo znovu zkomprimuje. Pokud je otisk v tvém seznamu povolených, obrázek projde. Pokud je v seznamu blokovaných, odstraní se. Ani jedno nevyžaduje kontrolu.
3. Opakování. Identická média, která byla zkontrolována v posledních 24 hodinách, se znovu nekontrolují.

K modelu se dostane jen zbytek. Taková kontrola spotřebovává kredity.

GIFy a videa

Video je příliš dlouhé na to, aby se hodnotilo jako jeden obrázek, takže bot z něj vybere snímky a hodnotí ty. Ve výchozím nastavení kontroluje 10 snímků videa a 5 snímků GIFu. S hlubokou kontrolou videí v tarifu Pro kontroluje 30 a 15.

Vzorkování má důsledek, který bys měl znát: několik explicitních snímků v dlouhém videu může vypadnout mezi vzorky. Pokud nějaký klip projde, přidej ho do seznamu blokovaných, aby se jeho otisk příště zachytil.

Soubory nad 32 MB se nekontrolují.

Kde se model mýlí

Žádný model obrazu nemá pravdu pokaždé. Obvyklé chyby jsou:

• Plochy v barvě pleti. Detailní záběry rukou, obličejů nebo jídla se někdy hodnotí příliš vysoko.
• Umění. Klasické obrazy, sochy a kreslené postavy se hodnotí hůř než fotografie.
• Hraniční oblečení. Hranice mezi úrovní 0 a úrovní 1 je nejméně jistá, a proto málo serverů blokuje od úrovně 1.
• Malé nebo oříznuté obrázky. Čím méně model vidí, tím méně spolehlivé je hodnocení.

SfwBot bere chybné rozhodnutí jako něco, co se stane. Každé smazání jde do tvého kanálu záznamů s tlačítkem Nahlásit jako chybné, které ho pošle ke kontrole. Obrázek ze seznamu povolených už na tvém serveru nikdy nebude odstraněn. Smazání modelem nestojí člena žádnou důvěru, pokud to nezapneš, takže jedno chybné rozhodnutí nevede ke strike.

Co se děje s obrázkem

Bot si médium stáhne, aby ho analyzoval, a hned poté ho zahodí. Uchová si otisk. Samotný obrázek se uchovává jen tehdy, když je rozhodnutí nahlášeno ke kontrole, a to do dokončení kontroly, nejdéle však 30 dní.

Data převzatá ze zprávy, například odkaz na médium a otisk, se po 30 dnech smažou. Otisky v tvých vlastních seznamech zůstávají, dokud je neodstraníš. Podrobnosti jsou na stránce zabezpečení a soukromí.