Як працює ШІ-виявлення NSFW у Discord

ШІ-виявлення NSFW означає, що модель для зображень дивиться на кожну картинку, опубліковану на вашому сервері, і повідомляє, скільки наготи на ній видно. Бот порівнює цей результат із вибраним вами рівнем і видаляє повідомлення або залишає його. Ця стаття простежує шлях одного зображення в цьому процесі на прикладі SfwBot.

Що модель робить із зображенням

Модель є нейронною мережею, навченою на великому наборі розмічених картинок. У неї немає списку заборонених зображень для порівняння. Вона вивчила, що спільного в розмічених прикладах, тож може оцінити картинку, якої ніколи не бачила.

Для кожного зображення вона відповідає на одне питання: який із чотирьох рівнів підходить.

Модель лише оцінює. Вона не знає ваших правил і нічого не вирішує.

Ваш рівень визначає, що видаляється

Ви обираєте рівень, з якого починається блокування, і все від цього рівня й вище видаляється. Новий сервер починає з рівня 3, тож видаляється лише відвертий вміст. Сервер для молодшої аудиторії може почати блокувати з рівня 1.

Цей поділ важливий, коли ви налаштовуєте бота. Якщо видаляється забагато, підвищте рівень, з якого починається блокування. Якщо видаляється замало, знизьте його. Модель в обох випадках залишається тією самою.

На платних тарифах це можна уточнити: окремий рівень для ілюстрацій і мистецтва (Plus) та власний рівень для окремих каналів або категорій (Pro). Сторінка цін перелічує, що входить до кожного тарифу.

Що відбувається до звернення до моделі

Більшість зображень ніколи не доходять до моделі. SfwBot спершу перевіряє три речі:

1. Винятки. Медіа у каналах-винятках і від ролей-винятків пропускаються. Канали з віковим обмеженням пропускаються за замовчуванням.
2. Відбитки. Бот обчислює відбиток зображення: коротке значення, яке майже не змінюється, коли зображення зменшують або повторно стискають. Якщо відбиток є у вашому білому списку, зображення проходить. Якщо він у чорному списку, зображення видаляється. Жодне з цього не потребує сканування.
3. Повтори. Ідентичні медіа, які сканувалися протягом останніх 24 годин, повторно не скануються.

До моделі потрапляє лише те, що залишилося. Таке сканування використовує кредити.

GIF і відео

Відео задовге, щоб оцінювати його як одну картинку, тому бот бере з нього кадри й оцінює їх. За замовчуванням він перевіряє 10 кадрів відео та 5 кадрів GIF. З глибоким скануванням відео на тарифі Pro він перевіряє 30 і 15.

Вибірка має наслідок, про який варто знати: кілька відвертих кадрів у довгому відео можуть опинитися між вибраними кадрами. Якщо кліп проскочив, додайте його до чорного списку, щоб його відбиток було виявлено наступного разу.

Файли понад 32 МБ не скануються.

Де модель помиляється

Жодна модель для зображень не має рації щоразу. Типові помилки такі:

• Поверхні кольору шкіри. Крупні плани рук, облич або їжі іноді оцінюються надто високо.
• Мистецтво. Класичний живопис, скульптуру та намальованих персонажів оцінити складніше, ніж фотографії.
• Межові вбрання. Межа між рівнем 0 і рівнем 1 найменш визначена, тому мало серверів блокують з рівня 1.
• Малі або обрізані зображення. Чим менше модель може побачити, тим менш надійна оцінка.

SfwBot розглядає хибне рішення як те, що обов'язково трапиться. Кожне видалення потрапляє у ваш канал журналу з кнопкою Повідомити про помилку, яка надсилає його на розгляд. Зображення з вашого білого списку більше ніколи не буде видалене на вашому сервері. Видалення моделлю не коштує учаснику довіри, доки ви цього не ввімкнете, тож одне хибне рішення не призводить до страйку.

Що відбувається із зображенням

Бот завантажує медіа для аналізу та одразу після цього відкидає його. Зберігається відбиток. Саме зображення зберігається лише тоді, коли про рішення повідомлено для розгляду: до завершення розгляду і щонайбільше 30 днів.

Дані, отримані з повідомлення, як-от посилання на медіа та відбиток, видаляються через 30 днів. Відбитки у ваших власних списках залишаються, доки ви їх не видалите. Подробиці є на сторінці безпеки та конфіденційності.