跳到正文

Discord 上的 AI NSFW 检测如何运作

图片模型会为每张图片评级,之后由你的设置决定如何处理。这里介绍模型看到什么、在哪里会出错,以及保留了什么。

作者:SfwBot Team5分钟阅读

AI NSFW 检测是指由图片模型查看服务器中发布的每张图片,并报告其中含有多少裸露内容。机器人会把结果与你设置的等级比较,然后删除消息或不做处理。本文以 SfwBot 为例,跟随一张图片走完整个过程。

模型如何处理一张图片

一张图片进入由相连圆点组成的网络,刻度上的一格亮了起来

该模型是一个神经网络,在大量带标签的图片上训练而成。它没有可供比对的禁止图片列表,而是学会了这些带标签样本的共同特征,因此可以为从未见过的图片评级。

对于每张图片,它只回答一个问题:四个等级中哪一个最合适。

等级名称典型内容
0日常表情包、截图、自拍
1暴露泳装、内衣及类似着装
2隐约裸露被遮盖或隐藏的裸露内容
3露骨可见的裸露内容和色情内容

模型只负责评级。它不了解你的规则,也不做任何决定。

由你的等级决定删除什么

你选择开始拦截的等级,从该等级起的所有内容都会被删除。新服务器从等级 3 开始,所以只会删除露骨内容。面向年轻受众的服务器可以从等级 1 开始拦截。

调整机器人时,这一划分很重要。如果删除得太多,就提高开始拦截的等级;如果删除得太少,就降低它。两种情况下模型本身都不变。

在付费方案中你可以进一步细化:为插画和艺术作品单独设置等级(Plus),以及为单个频道或分类设置独立的等级(Pro)。价格页面列出了各方案包含的内容。

询问模型之前会发生什么

大多数图片根本不会到达模型。SfwBot 会先检查三件事:

  1. **豁免。**豁免频道和豁免身份组中的媒体会被跳过。年龄限制频道默认会被跳过。
  2. **指纹。**机器人会计算图片的指纹,这是一个简短的值,在图片被缩放或重新压缩后几乎保持不变。如果指纹在你的白名单中,图片会通过;如果在黑名单中,图片会被删除。两种情况都不需要扫描。
  3. **重复。**过去 24 小时内已扫描过的相同媒体不会再次扫描。

只有剩下的内容才会交给模型。这次扫描会消耗点数。

GIF 和视频

一条由五个胶片画格组成的长条,其中两格有标记

视频太长,无法作为一张图片评级,所以机器人会从中取出若干帧并为这些帧评级。默认情况下,它检查视频的 10 帧和 GIF 的 5 帧。使用 Pro 方案的深度视频扫描时,则分别检查 30 帧和 15 帧。

抽样会带来一个你应该了解的后果:长视频中的少数露骨画面可能恰好落在抽样帧之间。如果某个片段漏过了检测,请把它加入黑名单,这样下次就能通过指纹拦截它。

超过 32 MB 的文件不会被扫描。

模型在哪里会出错

没有哪个图片模型每次都是对的。常见的错误有:

  • **肤色表面。**手、脸或食物的特写有时会被评得过高。
  • **艺术作品。**古典绘画、雕塑和手绘角色比照片更难评级。
  • **临界着装。**等级 0 和等级 1 之间的界线最不确定,这也是很少有服务器从等级 1 开始拦截的原因。
  • **较小或被裁剪的图片。**模型能看到的越少,评级就越不可靠。

SfwBot 把误判视为一定会发生的事。每次删除都会记录到你的日志频道,并带有一个报告有误按钮,点击后会送去复核。加入白名单的图片不会再在你的服务器上被移除。模型的删除不会扣除成员的信任分,除非你主动开启,所以一次误判不会导致警告。

图片之后会怎样处理

机器人为了分析会下载媒体,并在分析后立即丢弃。它保留的是指纹。只有当某个判断被举报以供审核时,图片本身才会被保留,保留到审核完成为止,最长 30 天。

从消息中获取的数据,例如媒体链接和指纹,会在 30 天后删除。你自己名单中的指纹会一直保留,直到你移除它们。详情请见安全与隐私页面。

常见问题

AI检测可以取代人工版主吗?

不能。它能在任何时间瞬间删除明显的情况,但被举报的案例和所有依赖上下文的情况仍由你的版主来决定。

模型会从我服务器的图片中学习吗?

机器人不会保留它扫描的图片。只有当某个判断被举报以供审核时,图片才会被保留,最长 30 天。

AI 会读取文字消息吗?

不会。模型评级的是图片、GIF 和视频。文字由针对邀请、垃圾信息和链接的独立过滤器处理,它们不消耗点数。

扫描失败时会怎样?

消息会保留,该次扫描的点数会退还。

相关文章