Перейти до вмісту

ШІ-модерація в Discord: що вона вміє і чого не вміє

Моделі зображень, мовні моделі та вбудовані фільтри Discord: які помилки робить кожна з них і що залишається за вашими модераторами.

Автор: SfwBot Team6 хв читання

ШІ-модерація в Discord добре справляється з вузькими завданнями: модель зображень може оцінити кожну картинку на наявність оголеності й видалити відверті в будь-яку годину, а мовна модель може позначити ворожі повідомлення, у яких немає жодного забороненого слова. Вона не вміє зважувати контекст так, як ваша команда, тому помиляється в обидва боки, а апеляції та все, що залежить від того, хто кому і що сказав, і далі вирішує людина.

Види автоматичної модерації в Discord

Назвою «ШІ-модерація» охоплюють три різні речі:

  • Власні інструменти Discord. AutoMod блокує повідомлення, що збігаються з вашими списками слів, зі списками часто позначуваних слів від Discord або з контентом, схожим на широко відомий спам. Фільтр відвертих зображень у розділі Налаштування сервера, Налаштування безпеки перевіряє зображення на відвертий вміст. Обидва безкоштовні, вбудовані в кожен сервер і зупиняють повідомлення до того, як його побачать інші учасники. Увімкніть їх, перш ніж додавати будь-якого бота.
  • Класифікатори зображень. Бот завантажує кожне зображення, а навчена модель його оцінює. Так працює SfwBot.
  • Мовні моделі. Бот передає текст повідомлення моделі, яка позначає його, наприклад, як переслідування чи погрозу. Одні боти запускають власну модель, інші надсилають текст до сервісу компанії, що розробляє ШІ.

Що робить модель зображень, на прикладі SfwBot

Виявлення оголеності в SfwBot оцінює кожне зображення, GIF і відео за чотирма рівнями: Повсякденне, Відверте вбрання, Натяк на оголеність і Відверте. Ви обираєте рівень, з якого починається блокування, і бот видаляє все на цьому рівні та вище. Новий сервер блокує лише рівень Відверте. Для GIF або відео бот оцінює вибірку кадрів.

Модель лише оцінює. Що станеться з повідомленням, визначають ваш рівень, виняткові канали та ролі, а також ваші білий і чорний списки. У матеріалі Як працює ШІ-виявлення NSFW одне зображення проходить усі кроки.

SfwBot виявляє лише наготу. Він не шукає насильство, жорстокість чи інші шкідливі зображення, тому цим займаються ваші модератори.

Модерація тексту мовними моделями

Мовна модель може впіймати образу, у якій немає забороненого слова або яка написана так, щоб обійти фільтр. Список слів цього не вміє.

Її слабкі місця випливають із того, чого вона не бачить. Друзі, які жартома ображають один одного, цитата, опублікована, щоб поскаржитися на когось, сарказм або сленг, який модель знає погано, можуть бути позначені, а справжня погроза звичайними словами може пройти. Текстова модель також читає кожне повідомлення, тож за межі Discord потрапляє набагато більше написаного вашими учасниками, ніж при перевірці зображень.

SfwBot не виконує ШІ-модерацію тексту. Його фільтр запрошень, фільтр спаму та захист посилань працюють за правилами й списками, які ви контролюєте, не витрачають кредитів і зберігають лише результат кожної перевірки.

Помилкові рішення в обидва боки

Терези з плиткою-зображенням на кожній шальці, одна сторона нижче

Хибне спрацювання видаляє щось нешкідливе. Пропуск пропускає те, що модель мала б упіймати. Кожна модель робить обидва види помилок.

У зображеннях хибні спрацювання зазвичай трапляються на крупних планах поверхонь кольору шкіри, як-от руки чи їжа, на класичному живописі та на межових вбраннях. Пропускаються зазвичай дрібні або обрізані зображення, а також відверті кадри в довгому відео, що опинилися між кадрами, які бот бере у вибірку.

Обраний вами рівень зсуває баланс. Блокування з рівня Відверте вбрання прибирає також фото в купальниках, зокрема нешкідливі пляжні знімки. Щоб побачити кожен випадок до видалення, вимкніть Видаляти заблокований вміст: тоді бот лише повідомляє у ваш канал журналу, а рішення ухвалює модератор. Якщо зображення проскочило, додайте його до чорного списку, щоб його відбиток було впізнано наступного разу.

Контекст, якого модель не бачить

Скульптурний бюст у промені світла поруч із порожньою мовною бульбашкою

Модель зображень дивиться лише на саму картинку. Вона не читає підпис, не знає теми каналу й не знає, хто це опублікував.

  • Мистецтво. Малюнки, картини та скульптури оцінюються за тим, що на них показано. На планах Plus і Pro параметр Ілюстрації та мистецтво дає творам мистецтва власний рівень або повністю їх дозволяє.
  • Медичні та навчальні зображення. Анатомічна схема чи фото для питання про здоров'я оцінюються як будь-яка інша картинка. Ведіть такі обговорення в каналі, який ви додали до Виняткових каналів, а на Pro можна задати цьому каналу власний рівень.
  • Меми. Грубий жарт без жодної оголеності для моделі належить до рівня Повсякденне. Чи порушує жарт ваші правила, вирішують ваші модератори.

Куди потрапляють дописи ваших учасників

За будь-якої ШІ-модерації копія того, що публікують учасники, залишає Discord для перевірки. З'ясуйте, хто запускає модель, чи отримує вміст стороння компанія, що розробляє ШІ, і що зберігається та як довго. У матеріалі Що перевірити, перш ніж додавати бота перелічено питання.

SfwBot завантажує кожне зображення, щоб його просканувати, і одразу після цього відкидає. Він зберігає 30 днів відбиток зображення та посилання на медіафайл у Discord; відбитки у ваших власних списках залишаються, доки ви їх не видалите. Його сервери розміщено в Німеччині, а в списку обробників на сторінці безпеки й приватності не названо жодної сторонньої компанії, що розробляє ШІ. Співробітники бачать зображення лише тоді, коли рішення передано на розгляд, і відкривають саме це одне зображення за збереженим посиланням.

Вартість і швидкість

Кожна перевірка ШІ використовує обчислювальний час, за який платить оператор. У SfwBot кожне ШІ-сканування витрачає кредити, а безкоштовний план щомісяця включає певну кількість кредитів. Збіги з вашими білим і чорним списками нічого не коштують, а те саме медіа, опубліковане повторно протягом доби, не скануються двічі. Коли кредити закінчуються, сканування призупиняється, а ваш чорний список продовжує працювати.

Бот дізнається про повідомлення лише після того, як Discord його опублікував. Поки бот завантажує й оцінює зображення, воно лежить у каналі, і учасники, які дивляться, можуть його побачити. Фільтр відвертих зображень Discord і AutoMod діють до появи повідомлення, тому тримайте їх увімкненими поруч із будь-яким ботом.

Чому апеляції досі вирішують модератори

Модель дає оцінку, не знаючи ваших правил, історії учасника чи того, що він мав на увазі. Перш ніж покладатися на бота, перевірте, як учасник і модератор можуть скасувати помилкове рішення.

В SfwBot кожне видалення потрапляє у ваш канал журналу. Дозволити на цьому сервері додає зображення до вашого білого списку, щоб його більше не видаляли, а Повідомити про помилку надсилає його команді SfwBot на розгляд. Учасники можуть повідомляти про власні видалення через /standing. Видалення за результатом ШІ-сканування не знижує довіру учасника, якщо ви не ввімкнете це в налаштуваннях довіри.

Баны, суперечки між учасниками та кожен випадок, який хтось оскаржує, залишаються за вашою командою. Посібник із виявлення оголеності описує кожне налаштування й кнопку.

Поширені запитання

Чи може ШІ самостійно модерувати сервер Discord?

Ні. Він виконує вузькі повторювані перевірки, як-от видалення відвертих зображень у будь-яку годину. Правила, що залежать від контексту, суперечки між учасниками й апеляції потребують людини.

Чи використовує SfwBot ШІ для читання текстових повідомлень?

Ні. ШІ SfwBot оцінює зображення, GIF і відео на наявність оголеності. Запрошення, спам і шахрайські посилання обробляють фільтри, що працюють за правилами й списками, і вони не витрачають кредитів.

Чи є безкоштовна ШІ-модерація для серверів Discord?

AutoMod і фільтр відвертих зображень Discord безкоштовні та вбудовані в кожен сервер. Боти, що запускають власні моделі, мають витрати, які потрібно покривати, а безкоштовний план SfwBot щомісяця включає кредити на сканування.

Схожі статті

Посібники

Фільтр відвертого вмісту в Discord: налаштування, обмеження та виправлення

Де зараз серверний фільтр відвертих зображень, що він перевіряє, чим відрізняється від розмиття в налаштуваннях кожного учасника і що робити, коли зображення все одно проходять.

6 хв читання