Jak działa wykrywanie NSFW przez AI na Discordzie

Wykrywanie NSFW przez AI oznacza, że model obrazu patrzy na każde zdjęcie wysłane na twoim serwerze i podaje, ile nagości na nim widać. Bot porównuje ten wynik z ustawionym przez ciebie poziomem i usuwa wiadomość albo zostawia ją w spokoju. Ten artykuł śledzi jeden obraz na tej drodze, na przykładzie SfwBot.

Co model robi z obrazem

Model to sieć neuronowa wytrenowana na dużym zbiorze opisanych zdjęć. Nie ma listy zakazanych zdjęć do porównywania. Nauczył się, co łączy opisane przykłady, więc potrafi ocenić zdjęcie, którego nigdy nie widział.

Dla każdego obrazu odpowiada na jedno pytanie: który z czterech poziomów pasuje.

Model tylko ocenia. Nie zna twoich zasad i niczego nie rozstrzyga.

Twój poziom decyduje, co zostanie usunięte

Wybierasz poziom, od którego zaczyna się blokowanie, a wszystko od tego poziomu w górę jest usuwane. Nowy serwer zaczyna od poziomu 3, więc usuwane są tylko treści dosłowne. Serwer dla młodszych odbiorców może zacząć blokować od poziomu 1.

Ten podział ma znaczenie przy dostrajaniu bota. Jeśli usuwane jest za dużo, podnosisz poziom, od którego zaczyna się blokowanie. Jeśli za mało, obniżasz go. Model w obu przypadkach pozostaje taki sam.

W planach płatnych możesz to doprecyzować: osobny poziom dla ilustracji i sztuki (Plus) oraz własny poziom dla pojedynczych kanałów lub kategorii (Pro). Co zawiera każdy plan, wymienia strona cennika.

Co dzieje się, zanim zapytamy model

Większość obrazów nigdy nie trafia do modelu. SfwBot najpierw sprawdza trzy rzeczy:

1. Wyjątki. Multimedia na kanałach i od ról objętych wyjątkiem są pomijane. Kanały z ograniczeniem wiekowym są domyślnie pomijane.
2. Odciski. Bot oblicza odcisk obrazu, czyli krótką wartość, która prawie się nie zmienia, gdy obraz zostanie przeskalowany lub ponownie skompresowany. Jeśli odcisk jest na twojej liście dozwolonych, obraz przechodzi. Jeśli jest na liście blokowanych, zostaje usunięty. Żadne z tych przypadków nie wymaga skanowania.
3. Powtórki. Identyczne multimedia, które były skanowane w ciągu ostatnich 24 godzin, nie są skanowane ponownie.

Do modelu trafia tylko to, co zostało. To skanowanie zużywa kredyty.

GIF-y i filmy

Film jest zbyt długi, by ocenić go jako jedno zdjęcie, więc bot pobiera z niego klatki i ocenia je. Domyślnie sprawdza 10 klatek filmu i 5 klatek GIF-a. Przy głębokim skanowaniu filmów w planie Pro sprawdza 30 i 15.

Próbkowanie ma konsekwencję, o której warto wiedzieć: kilka dosłownych klatek w długim filmie może wypaść między próbkami. Jeśli jakiś klip przejdzie, dodaj go do listy blokowanych, aby jego odcisk został wychwycony następnym razem.

Pliki powyżej 32 MB nie są skanowane.

Gdzie model się myli

Żaden model obrazu nie ma racji za każdym razem. Typowe pomyłki to:

• Powierzchnie w kolorze skóry. Zbliżenia dłoni, twarzy lub jedzenia bywają oceniane zbyt wysoko.
• Sztuka. Klasyczne obrazy, rzeźby i rysowane postacie są trudniejsze do oceny niż zdjęcia.
• Strój na granicy. Granica między poziomem 0 a 1 jest najmniej pewna, dlatego niewiele serwerów blokuje od poziomu 1.
• Małe lub przycięte obrazy. Im mniej model widzi, tym mniej wiarygodna ocena.

SfwBot traktuje błędną ocenę jako coś, co się zdarzy. Każde usunięcie trafia do twojego kanału logów z przyciskiem Zgłoś jako błędne, który kieruje je do przeglądu. Obraz z twojej listy dozwolonych nigdy więcej nie zostanie usunięty na twoim serwerze. Usunięcie przez model nie kosztuje członka zaufania, chyba że to włączysz, więc jedna błędna ocena nie prowadzi do strike'a.

Co dzieje się z obrazem

Bot pobiera multimedia, aby je przeanalizować, i zaraz potem je odrzuca. Zachowuje odcisk. Sam obraz jest przechowywany tylko wtedy, gdy decyzja zostanie zgłoszona do przeglądu, do jego zakończenia i nie dłużej niż 30 dni.

Dane pobrane z wiadomości, takie jak link do multimediów i odcisk, są usuwane po 30 dniach. Odciski na twoich własnych listach pozostają, dopóki ich nie usuniesz. Szczegóły są na stronie bezpieczeństwo i prywatność.