Cómo funciona la detección de NSFW con IA en Discord
Un modelo de imágenes clasifica cada imagen y tus ajustes deciden qué ocurre después. Esto es lo que ve el modelo, dónde se equivoca y qué se conserva.
Por SfwBot Team5 min de lectura
La detección de NSFW con IA significa que un modelo de imágenes examina cada imagen publicada en tu servidor e indica cuánta desnudez muestra. El bot compara ese resultado con el nivel que definiste y borra el mensaje o lo deja como está. Este artículo sigue una imagen a lo largo de ese proceso, con SfwBot como ejemplo.
Qué hace el modelo con una imagen
El modelo es una red neuronal entrenada con un gran conjunto de imágenes etiquetadas. No tiene una lista de imágenes prohibidas con la que comparar. Ha aprendido qué tienen en común los ejemplos etiquetados, y por eso puede clasificar una imagen que nunca ha visto.
Para cada imagen responde a una pregunta: cuál de los cuatro niveles encaja.
| Nivel | Nombre | Contenido típico |
|---|---|---|
| 0 | Cotidiano | Memes, capturas de pantalla, selfis |
| 1 | Revelador | Bañadores, ropa interior y atuendos similares |
| 2 | Desnudez implícita | Desnudez cubierta u oculta |
| 3 | Explícito | Desnudez visible y contenido sexual |
El modelo solo clasifica. No conoce tus normas y no decide nada.
Tu nivel decide qué se borra
Tú eliges el nivel a partir del cual se bloquea, y todo lo que esté en ese nivel o por encima se borra. Un servidor nuevo empieza en el nivel 3, así que solo se elimina el contenido explícito. Un servidor para un público más joven podría empezar a bloquear en el nivel 1.
Esta separación importa cuando ajustas el bot. Si se elimina demasiado, subes el nivel donde empieza el bloqueo. Si se elimina demasiado poco, lo bajas. El modelo es el mismo en ambos casos.
En los planes de pago puedes afinar más: un nivel aparte para ilustraciones y arte (Plus), y un nivel propio para canales o categorías concretos (Pro). La página de precios indica qué incluye cada plan.
Qué ocurre antes de consultar al modelo
La mayoría de las imágenes nunca llegan al modelo. SfwBot comprueba primero tres cosas:
- Excepciones. Se omiten los archivos de canales exentos y de roles exentos. Los canales con restricción de edad se omiten por defecto.
- Huellas. El bot calcula una huella de la imagen, un valor corto que se mantiene casi igual cuando la imagen se redimensiona o se recomprime. Si la huella está en tu lista de permitidos, la imagen pasa. Si está en una lista de bloqueo, se elimina. Ninguno de los dos casos necesita un análisis.
- Repeticiones. Un archivo idéntico que se analizó en las últimas 24 horas no se vuelve a analizar.
Solo lo que queda llega al modelo. Ese análisis consume créditos.
GIF y vídeos
Un vídeo es demasiado largo para clasificarlo como una sola imagen, así que el bot toma fotogramas y clasifica esos. Por defecto comprueba 10 fotogramas de un vídeo y 5 de un GIF. Con el análisis profundo de vídeo del plan Pro comprueba 30 y 15.
El muestreo tiene una consecuencia que conviene conocer: unos pocos fotogramas explícitos en un vídeo largo pueden caer entre las muestras. Si un clip pasa, añádelo a tu lista de bloqueo para que su huella se detecte la próxima vez.
Los archivos de más de 32 MB no se analizan.
Dónde se equivoca el modelo
Ningún modelo de imágenes acierta siempre. Los errores habituales son:
- Superficies de color piel. Los primeros planos de manos, rostros o comida a veces se clasifican demasiado alto.
- Arte. Las pinturas clásicas, las esculturas y los personajes dibujados son más difíciles de clasificar que las fotos.
- Atuendos en el límite. La línea entre el nivel 0 y el nivel 1 es la menos segura, y por eso pocos servidores bloquean desde el nivel 1.
- Imágenes pequeñas o recortadas. Cuanto menos puede ver el modelo, menos fiable es la clasificación.
SfwBot asume que una decisión errónea va a ocurrir. Cada eliminación llega a tu canal de registro con un botón Informar de error que la envía a revisión. Una imagen de tu lista de permitidos no se vuelve a eliminar nunca en tu servidor. Una eliminación hecha por el modelo no le cuesta confianza al miembro a menos que lo actives, así que una decisión errónea no lleva a un strike.
Qué ocurre con la imagen
El bot descarga el archivo para analizarlo y lo descarta justo después. Lo que conserva es la huella. Una imagen solo se conserva cuando una decisión se envía a revisión, hasta que termina la revisión y durante 30 días como máximo.
Los datos tomados de un mensaje, como el enlace del archivo y la huella, se eliminan después de 30 días. Las huellas de tus propias listas permanecen hasta que las quites. Los detalles están en la página de seguridad y privacidad.
Preguntas frecuentes
¿Puede la detección con IA sustituir a los moderadores humanos?
No. Elimina los casos evidentes en un momento, a cualquier hora. Tus moderadores siguen decidiendo los casos denunciados y todo lo que depende del contexto.
¿Aprende el modelo de las imágenes de mi servidor?
El bot no conserva las imágenes que analiza. Una imagen solo se conserva cuando una decisión se envía a revisión, durante 30 días como máximo.
¿Lee la IA los mensajes de texto?
No. El modelo clasifica imágenes, GIF y vídeos. El texto lo gestionan filtros distintos para invitaciones, spam y enlaces, que no consumen créditos.
¿Qué ocurre cuando falla el análisis?
El mensaje se queda y se reembolsan los créditos de ese análisis.
