Saltar al contenido

Moderación con IA en Discord: qué puede y qué no puede hacer

Modelos de imagen, modelos de lenguaje y los filtros integrados de Discord, con los errores de cada uno y la parte que sigue en manos de tus moderadores.

Por SfwBot Team8 min de lectura

La moderación con IA en Discord funciona bien para tareas concretas: un modelo de imagen puede evaluar cada imagen en busca de desnudez y eliminar las explícitas a cualquier hora, y un modelo de lenguaje puede señalar mensajes hostiles que no contienen ninguna palabra prohibida. No puede valorar el contexto como lo hace tu equipo, así que se equivoca en ambas direcciones, y una persona tiene que decidir las apelaciones y todo lo que dependa de quién dijo qué a quién.

Tipos de moderación automática en Discord

Se llama moderación con IA a tres cosas distintas:

  • Las herramientas propias de Discord. AutoMod bloquea los mensajes que coinciden con tus listas de palabras, con las listas de palabras que Discord marca con frecuencia o con contenido parecido al spam muy denunciado. El Filtro de imágenes explícitas de Ajustes del servidor, Configuración de seguridad revisa las imágenes en busca de contenido explícito. Ambos son gratuitos, vienen integrados en todos los servidores y detienen un mensaje antes de que lo vean otros miembros. Actívalos antes de añadir cualquier bot.
  • Clasificadores de imágenes. Un bot descarga cada imagen y un modelo entrenado la evalúa. SfwBot funciona así.
  • Modelos de lenguaje. Un bot pasa el texto de los mensajes a un modelo que lo etiqueta, por ejemplo como acoso o amenaza. Algunos bots ejecutan su propio modelo y otros envían el texto al servicio de una empresa de IA.

Qué hace un modelo de imagen, con SfwBot como ejemplo

La detección de desnudez de SfwBot evalúa cada imagen, GIF y vídeo en cuatro niveles: Cotidiano, Revelador, Desnudez implícita y Explícito. Tú eliges el nivel desde el que se bloquea, y el bot elimina todo lo que esté en ese nivel o por encima. Un servidor nuevo bloquea solo Explícito. En un GIF o un vídeo, el bot evalúa una muestra de fotogramas.

El modelo solo evalúa. Tu nivel, tus canales y roles exentos y tus listas de permitidos y de bloqueo deciden qué ocurre con el mensaje. Cómo funciona la detección de NSFW con IA sigue una imagen paso a paso.

SfwBot detecta únicamente desnudos. No busca violencia, gore ni otras imágenes dañinas, así que eso queda en manos de tus moderadores.

Moderación de texto con modelos de lenguaje

Un modelo de lenguaje puede detectar un insulto que no contiene ninguna palabra prohibida o que está escrito para esquivar un filtro, algo que una lista de palabras no puede hacer.

Sus puntos débiles vienen de lo que no puede ver. Amigos que se insultan en broma, una cita publicada para denunciar a alguien, el sarcasmo o una jerga que el modelo conoce mal pueden acabar señalados, y una amenaza real con palabras corrientes puede pasar. Además, un modelo de texto lee todos los mensajes, así que sale de Discord mucho más de lo que escriben tus miembros que con una revisión de imágenes.

SfwBot no hace moderación de texto con IA. Su filtro de invitaciones, su filtro de spam y su protección de enlaces siguen reglas y listas que controlas tú, no usan créditos y solo conservan el resultado de cada comprobación.

Errores en ambas direcciones

Una balanza con una imagen en cada plato, un lado más bajo que el otro

Un falso positivo elimina algo inofensivo. Un falso negativo deja pasar algo que el modelo debería haber detectado. Todos los modelos cometen ambos.

En las imágenes, los falsos positivos habituales son primeros planos de superficies del color de la piel, como manos o comida, pinturas clásicas y atuendos dudosos. Los fallos habituales son imágenes pequeñas o recortadas y fotogramas explícitos de un vídeo largo que quedan entre los fotogramas que el bot muestrea.

El nivel que elijas desplaza el equilibrio. Bloquear desde Revelador también elimina fotos con ropa de baño, incluidas las inofensivas de playa. Para ver cada caso antes de que se elimine nada, desactiva Eliminar contenido bloqueado: el bot solo informa en tu canal de registro y un moderador decide. Cuando se cuela una imagen, añádela a tu lista de bloqueo para que su huella se detecte la próxima vez.

El contexto que un modelo no puede ver

Un busto escultórico en un haz de luz junto a un bocadillo de diálogo vacío

Un modelo de imagen mira solo la imagen. No lee el pie de foto, no conoce el tema del canal ni sabe quién la publicó.

  • Arte. Los dibujos, las pinturas y las esculturas se evalúan por lo que muestran. En Plus y Pro, Ilustraciones y arte da a las obras su propio nivel o las permite por completo.
  • Imágenes médicas y educativas. Un diagrama de anatomía o una foto para una consulta de salud se evalúa como cualquier otra imagen. Haz esas conversaciones en un canal que añadas a Canales exentos o, en Pro, dale a ese canal su propio nivel.
  • Memes. Un chiste grosero sin desnudez es Cotidiano para el modelo. Si el chiste infringe tus reglas es algo que deben juzgar tus moderadores.

Adónde van las publicaciones de tus miembros

Con cualquier moderación con IA, una copia de lo que publican los miembros sale de Discord para ser revisada. Averigua quién ejecuta el modelo, si una empresa de IA externa recibe el contenido y qué se guarda y durante cuánto tiempo. Qué comprobar antes de añadir un bot recoge las preguntas.

SfwBot descarga cada imagen para analizarla y la descarta justo después. Conserva durante 30 días una huella de la imagen y el enlace al contenido en Discord; las huellas de tus propias listas se quedan hasta que las quites. Sus servidores están alojados en Alemania, y la lista de encargados del tratamiento de su página de seguridad y privacidad no nombra a ninguna empresa de IA externa. El personal solo ve una imagen cuando se informa de una decisión para su revisión, y lo hace abriendo esa única imagen mediante el enlace guardado.

Coste y velocidad

Cada comprobación con IA usa tiempo de cálculo que paga el operador. Con SfwBot, cada análisis con IA usa créditos, y el plan gratuito incluye créditos cada mes. Las coincidencias con tus listas de permitidos y de bloqueo no cuestan nada, y el mismo contenido publicado de nuevo en un día no se analiza dos veces. Cuando se acaban los créditos, el análisis se pausa y tu lista de bloqueo sigue funcionando.

Un bot se entera de un mensaje solo después de que Discord lo haya publicado. Mientras el bot descarga y evalúa una imagen, la imagen está en el canal y los miembros que estén mirando pueden verla. El filtro de imágenes explícitas de Discord y AutoMod actúan antes de que aparezca el mensaje, así que mantenlos activados junto a cualquier bot.

Por qué los moderadores siguen decidiendo las apelaciones

Un modelo da una valoración sin conocer tus reglas, el historial del miembro ni lo que quiso decir. Antes de confiar en un bot, comprueba cómo pueden un miembro y un moderador deshacer una decisión errónea.

En SfwBot, cada eliminación va a tu canal de registro. Permitir en este servidor añade la imagen a tu lista de permitidos para que no se vuelva a eliminar, y Informar de error la envía al equipo de SfwBot para su revisión. Los miembros pueden informar de sus propias eliminaciones con /standing. Una eliminación por el análisis de IA no le cuesta confianza al miembro, a menos que lo actives en los ajustes de confianza.

Los baneos, las discusiones entre miembros y todos los casos que alguien discute quedan en manos de tu equipo. La guía de detección de desnudez explica cada ajuste y cada botón.

Preguntas frecuentes

¿Puede la IA moderar un servidor de Discord por sí sola?

No. Se encarga de comprobaciones concretas y repetitivas, como eliminar imágenes explícitas a cualquier hora. Las reglas que dependen del contexto, las disputas entre miembros y las apelaciones necesitan a una persona.

¿SfwBot usa IA para leer mensajes de texto?

No. La IA de SfwBot evalúa imágenes, GIF y vídeos en busca de desnudez. Las invitaciones, el spam y los enlaces de estafa los gestionan filtros que siguen reglas y listas, y no usan créditos.

¿Hay moderación con IA gratuita para servidores de Discord?

AutoMod y el filtro de imágenes explícitas de Discord son gratuitos y vienen integrados en todos los servidores. Los bots que ejecutan sus propios modelos tienen costes que cubrir, y el plan gratuito de SfwBot incluye créditos de análisis cada mes.

Artículos relacionados