Перейти к содержимому

ИИ-модерация в Discord: что она умеет и чего не умеет

Модели для изображений, языковые модели и встроенные фильтры Discord: какие ошибки допускает каждый вариант и что остаётся за вашими модераторами.

Автор: SfwBot Team6 мин чтения

ИИ-модерация в Discord хорошо справляется с узкими задачами: модель для изображений оценивает каждую картинку на наготу и в любое время суток удаляет откровенные, а языковая модель отмечает враждебные сообщения, в которых нет запрещённых слов. Контекст она оценивает хуже, чем ваша команда, поэтому ошибается в обе стороны, и апелляции, как и всё, что зависит от того, кто что и кому сказал, по-прежнему решает человек.

Виды автоматической модерации в Discord

ИИ-модерацией называют три разные вещи:

  • Встроенные инструменты Discord. AutoMod блокирует сообщения, которые совпадают с вашими списками слов, со списками часто отмечаемых слов от Discord или похожи на широко известный спам. Фильтр откровенных изображений в разделе Настройки сервера, Настройка безопасности проверяет изображения на откровенное содержание. Оба инструмента бесплатны, встроены в каждый сервер и останавливают сообщение до того, как его увидят другие участники. Включите их до добавления любого бота.
  • Классификаторы изображений. Бот скачивает каждое изображение, и обученная модель его оценивает. SfwBot работает так.
  • Языковые модели. Бот передаёт текст сообщения модели, которая присваивает ему метку, например «оскорбления» или «угроза». Одни боты используют собственную модель, другие отправляют текст в сервис ИИ-компании.

Что делает модель для изображений, на примере SfwBot

Обнаружение наготы в SfwBot оценивает каждое изображение, GIF и видео по четырём уровням: «Повседневный», «Открытый», «Подразумеваемая нагота» и «Откровенный». Вы выбираете уровень, с которого начинается блокировка, и бот удаляет всё, что относится к этому уровню и выше. На новом сервере блокируется только «Откровенный». Для GIF или видео бот оценивает выборку кадров.

Модель только оценивает. Что произойдёт с сообщением, решают выбранный вами уровень, каналы и роли-исключения, а также белый и чёрный списки. В материале Как работает ИИ-обнаружение NSFW одно изображение прослеживается через все этапы.

SfwBot обнаруживает только наготу. Он не ищет насилие, жестокие сцены и другие вредные изображения, поэтому их оставляют вашим модераторам.

Модерация текста с помощью языковых моделей

Языковая модель может заметить оскорбление, в котором нет запрещённых слов или которое написано так, чтобы обойти фильтр. Список слов на это не способен.

Слабые места модели связаны с тем, чего она не видит. Друзья, шутливо оскорбляющие друг друга, цитата, опубликованная ради жалобы на кого-то, сарказм или сленг, который модель знает плохо, могут быть помечены, а настоящая угроза обычными словами может пройти. Кроме того, текстовая модель читает каждое сообщение, поэтому за пределы Discord уходит гораздо больше написанного вашими участниками, чем при проверке изображений.

SfwBot не модерирует текст с помощью ИИ. Его фильтр приглашений, фильтр спама и защита ссылок следуют правилам и спискам, которыми управляете вы, не расходуют кредиты и хранят только результат каждой проверки.

Ошибочные решения в обе стороны

Чашечные весы с плиткой-картинкой на каждой чаше, одна сторона ниже

Ложное срабатывание удаляет безобидное. Пропуск пропускает то, что модель должна была поймать. Любая модель допускает и то и другое.

Среди изображений ложно срабатывает чаще всего на крупные планы поверхностей телесного цвета, например рук или еды, на классическую живопись и на пограничные наряды. Чаще всего пропускаются мелкие или обрезанные изображения, а также откровенные кадры в длинном видео, которые попадают между кадрами выборки.

Выбранный уровень сдвигает баланс. Если блокировать начиная с «Открытого», удаляются и фотографии в купальниках, в том числе безобидные пляжные снимки. Чтобы увидеть каждый случай до удаления, отключите Удалять заблокированное: тогда бот только сообщает в ваш канал журнала, а решение принимает модератор. Если изображение прошло, добавьте его в чёрный список, и в следующий раз его отпечаток будет пойман.

Контекст, который модель не видит

Скульптурный бюст в луче света рядом с пустым облачком речи

Модель для изображений смотрит только на картинку. Она не читает подпись, не знает тему канала и не знает, кто опубликовал изображение.

  • Искусство. Рисунки, картины и скульптуры оцениваются по тому, что на них изображено. В тарифах Plus и Pro параметр Иллюстрации и искусство задаёт для произведений отдельный уровень или полностью их разрешает.
  • Медицинские и образовательные изображения. Анатомическая схема или фотография для вопроса о здоровье оценивается как любая другая картинка. Проводите такие обсуждения в канале, который вы добавили в Каналы-исключения, или в тарифе Pro задайте этому каналу отдельный уровень.
  • Мемы. Грубая шутка без наготы для модели относится к уровню «Повседневный». Нарушает ли шутка ваши правила, решают ваши модераторы.

Куда уходят публикации участников

При любой ИИ-модерации копия того, что публикуют участники, покидает Discord для проверки. Выясните, кто запускает модель, получает ли содержимое сторонняя ИИ-компания и что хранится и как долго. Вопросы перечислены в материале Что проверить, прежде чем добавлять бота.

SfwBot скачивает каждое изображение для сканирования и сразу после этого удаляет его. Отпечаток изображения и ссылка на медиафайл в Discord хранятся 30 дней; отпечатки в ваших собственных списках остаются, пока вы их не удалите. Серверы бота размещены в Германии, а в списке обработчиков на странице о безопасности и конфиденциальности нет ни одной сторонней ИИ-компании. Сотрудники видят изображение только тогда, когда решение передано на проверку: они открывают именно это изображение по сохранённой ссылке.

Стоимость и скорость

Каждая ИИ-проверка требует вычислительного времени, за которое платит оператор. В SfwBot каждое ИИ-сканирование расходует кредиты, а бесплатный тариф включает кредиты каждый месяц. Совпадения с вашими белым и чёрным списками ничего не стоят, а те же медиафайлы, опубликованные повторно в течение суток, повторно не сканируются. Когда кредиты заканчиваются, сканирование приостанавливается, а чёрный список продолжает работать.

Бот узнаёт о сообщении только после того, как Discord его опубликовал. Пока бот скачивает и оценивает изображение, оно находится в канале, и участники, которые смотрят в этот момент, могут его увидеть. Фильтр откровенных изображений Discord и AutoMod срабатывают до появления сообщения, поэтому держите их включёнными наряду с любым ботом.

Почему апелляции по-прежнему решают модераторы

Модель выдаёт оценку, не зная ваших правил, истории участника и того, что он имел в виду. Прежде чем полагаться на бота, проверьте, как участник и модератор могут отменить ошибочное решение.

В SfwBot каждое удаление попадает в ваш канал журнала. Кнопка Разрешить на этом сервере добавляет изображение в белый список, чтобы его больше не удаляли, а Сообщить об ошибке отправляет его на проверку команде SfwBot. Участники могут сообщать о своих удалениях через /standing. Удаление по результатам ИИ-сканирования не снижает доверие участника, если вы не включили это в настройках доверия.

Баны, споры между участниками и все случаи, которые кто-то оспаривает, остаются за вашей командой. В руководстве по обнаружению наготы описаны все настройки и кнопки.

Часто задаваемые вопросы

Может ли ИИ самостоятельно модерировать сервер Discord?

Нет. Он выполняет узкие повторяющиеся проверки, например удаляет откровенные изображения в любое время суток. Правила, зависящие от контекста, споры между участниками и апелляции требуют человека.

Использует ли SfwBot ИИ для чтения текстовых сообщений?

Нет. ИИ в SfwBot оценивает изображения, GIF и видео на наготу. Приглашения, спам и мошеннические ссылки обрабатываются фильтрами, которые следуют правилам и спискам, и кредиты они не расходуют.

Есть ли бесплатная ИИ-модерация для серверов Discord?

AutoMod и фильтр откровенных изображений Discord бесплатны и встроены в каждый сервер. У ботов с собственными моделями есть расходы, которые нужно покрывать, а бесплатный тариф SfwBot включает кредиты на сканирование каждый месяц.

Похожие статьи

Руководства

Фильтр откровенного контента в Discord: настройка, ограничения и решения

Где сейчас находится серверный фильтр откровенных изображений, что он проверяет, чем отличается от размытия у каждого участника и что делать, если изображения всё равно проходят.

6 мин чтения

Руководства

Шаблон правил сервера Discord: скопируйте, вставьте и соблюдайте

Десять правил, которые умещаются в одном сообщении Discord, написаны так, чтобы на них мог сослаться модератор, и для каждого указана настройка или фильтр, который его поддерживает.

7 мин чтения