Discord 上的 AI 审核:能做什么,不能做什么
图片模型、语言模型和 Discord 内置过滤器,它们各自会犯的错误,以及仍由版主负责的部分。
作者:SfwBot Team7分钟阅读

Discord 上的 AI 审核适合范围明确的任务:图片模型可以对每张图片的裸露内容打分,并在任何时间删除露骨的图片;语言模型可以标出不含违禁词的敌意消息。但它无法像你的团队那样权衡上下文,所以两个方向都会出错,申诉以及取决于谁对谁说了什么的情况,仍然需要人来决定。
Discord 上的自动审核有哪几种
被称为 AI 审核的其实有三种不同的东西:
- Discord 自带的工具。 AutoMod 会拦截匹配你的词表、Discord 常见违规词表的消息,或与大量被举报的垃圾内容相似的内容。服务器设置中安全设置下的显式图片过滤会检查图片是否含有露骨内容。两者都免费,内置于每个服务器,并会在其他成员看到消息之前将其拦下。添加任何机器人之前,先把它们打开。
- 图片分类器。 机器人下载每张图片,由训练好的模型打分。SfwBot 就是这样工作的。
- 语言模型。 机器人把消息文本交给模型,由模型标注,例如骚扰或威胁。有些机器人运行自己的模型,有些则把文本发送给 AI 公司的服务。
图片模型的作用,以 SfwBot 为例
SfwBot 的裸露检测把每张图片、GIF 和视频分为四个等级:日常、暴露、暗示裸露和露骨。你选择开始拦截的等级,机器人会删除该等级及以上的所有内容。新服务器默认只拦截露骨。对于 GIF 或视频,机器人会抽取部分帧来打分。
模型只负责打分。消息最终如何处理,由你设定的等级、豁免的频道和身份组,以及白名单和黑名单决定。AI NSFW 检测的工作原理会带你跟随一张图片走完每一步。
SfwBot 只检测裸露内容。它不会查找暴力、血腥或其他有害图片,所以这些仍由你的版主负责。
用语言模型审核文本
语言模型可以发现不含违禁词、或刻意拼写以绕过过滤的辱骂,这是词表做不到的。
它的弱点来自它看不到的东西。朋友之间开玩笑的互相辱骂、为举报某人而贴出的引用、模型不太熟悉的讽刺或俚语,都可能被标记,而用普通措辞写成的真正威胁则可能漏过。文本模型还会读取每一条消息,所以与图片检查相比,成员写下的内容会有多得多的部分离开 Discord。
SfwBot 不做 AI 文本审核。它的邀请过滤、垃圾信息过滤和链接防护都遵循由你控制的规则和列表,不使用点数,并且只保留每次检查的结果。
两个方向的误判

误报会删除无害的内容。漏报则会放过模型本该发现的内容。每个模型都会两者兼有。
对于图片,常见的误报是手或食物等肤色表面的特写、古典绘画和临界的着装。常见的漏报是尺寸很小或被裁剪的图片,以及长视频中落在机器人抽样帧之间的露骨画面。
你选择的等级会改变这个平衡。从暴露开始拦截,也会删除泳装照片,包括无害的海滩照片。如果想在删除之前查看每个案例,请关闭删除被拦截的内容:机器人此时只会向你的日志频道报告,由版主来决定。当有图片漏过时,把它加入你的黑名单,下次就能通过其指纹拦截。
模型看不到的上下文

图片模型只看图片本身。它不会读配图文字,不了解频道的主题,也不知道是谁发的。
- 艺术作品。 绘画、油画和雕塑按其呈现的内容打分。在 Plus 和 Pro 上,插画与艺术可以为艺术作品设定单独的等级,或完全允许。
- 医学和教育图片。 解剖图或用于健康问题的照片,与其他图片一样打分。请在添加到豁免频道的频道中进行这类讨论,或在 Pro 上为该频道设置单独的等级。
- 梗图。 不含裸露的粗俗笑话,在模型看来属于日常。这个玩笑是否违反你的规则,由你的版主来判断。
成员的帖子会去哪里
无论哪种 AI 审核,成员所发内容的副本都会离开 Discord 接受检查。请弄清楚谁在运行模型、是否有外部 AI 公司接收这些内容,以及存储了什么、存多久。添加机器人前要检查什么列出了这些问题。
SfwBot 会下载每张图片进行扫描,并在扫描后立即丢弃。它会保留图片的指纹和指向 Discord 上媒体的链接 30 天;你自己列表中的指纹会保留到你移除为止。它的服务器托管在德国,其安全与隐私页面上的数据处理方列表中没有任何外部 AI 公司。只有在某个决定被报告以供复核时,工作人员才会通过存储的链接打开那一张图片查看。
成本与速度
每次 AI 检查都会占用计算时间,由运营方承担费用。在 SfwBot 中,每次 AI 扫描都会消耗点数,免费方案每月都包含一定点数。匹配白名单和黑名单不消耗点数,一天内再次发布的相同媒体也不会重复扫描。点数用完后,扫描会暂停,而你的黑名单仍会继续生效。
机器人只有在 Discord 发布消息之后才会知道这条消息。在机器人下载并为图片打分期间,图片已经出现在频道里,正在查看的成员可以看到。Discord 的显式图片过滤和 AutoMod 在消息出现之前就会起作用,所以请在使用任何机器人的同时保持它们开启。
为什么申诉仍由版主决定
模型给出评分时,并不了解你的规则、成员的历史或其本意。在依赖某个机器人之前,请确认成员和版主如何才能撤销错误的判断。
在 SfwBot 中,每次删除都会发送到你的日志频道。在此服务器允许会把图片加入你的白名单,使其不再被删除,报告为误判则会把它发送给 SfwBot 团队复核。成员可以通过 /standing 报告自己被删除的内容。AI 扫描造成的删除不会扣除成员的信任分,除非你在信任设置中将其打开。
封禁、成员之间的争执以及每一个有人提出异议的案例,都仍由你的团队处理。裸露检测指南介绍了每个设置和按钮。
常见问题
AI 可以自己管理一个 Discord 服务器吗?
不可以。它负责范围明确的重复性检查,例如在任何时间删除露骨图片。取决于上下文的规则、成员之间的纠纷和申诉都需要人来处理。
SfwBot 会用 AI 阅读文字消息吗?
不会。SfwBot 的 AI 只对图片、GIF 和视频的裸露内容打分。邀请、垃圾信息和诈骗链接由遵循规则和列表的过滤器处理,不使用点数。
Discord 服务器有免费的 AI 审核吗?
Discord 的 AutoMod 和显式图片过滤免费,并内置于每个服务器。运行自有模型的机器人需要承担成本,而 SfwBot 的免费方案每月都包含扫描点数。


