本文へスキップ

DiscordのAIモデレーション:できることとできないこと

画像モデル、言語モデル、Discord標準のフィルター。それぞれの誤判定と、モデレーターに残る役割を紹介します。

執筆:SfwBot Team読了目安10分

DiscordのAIモデレーションは、限られた作業には向いています。画像モデルはすべての画像のヌードを評価し、露骨なものを時間を問わず削除できます。言語モデルは禁止ワードを含まない敵意のあるメッセージを検知できます。一方で、チームのように文脈を踏まえて判断することはできないため、どちらの方向にも誤判定が起こります。異議申し立てや、誰が誰に何を言ったかで結論が変わるケースは、今も人が判断する必要があります。

Discordの自動モデレーションの種類

AIモデレーションと呼ばれるものには、次の3種類があります。

  • Discord標準のツール。 AutoModは、設定した単語リスト、Discordが用意した頻出の問題ワードのリスト、広く報告されているスパムに似た内容に一致するメッセージをブロックします。サーバー設定のセーフティ設定にある不適切な画像のフィルターは、画像に不適切な内容がないかを確認します。どちらも無料ですべてのサーバーに組み込まれており、ほかのメンバーの目に触れる前にメッセージを止めます。Botを追加する前に、まずこれらをオンにしてください。
  • 画像分類モデル。 Botが画像を1枚ずつダウンロードし、学習済みモデルが評価します。SfwBotはこの方式です。
  • 言語モデル。 Botがメッセージの本文をモデルに渡し、嫌がらせや脅迫などのラベルを付けます。独自のモデルを動かすBotもあれば、AI企業のサービスに本文を送るBotもあります。

画像モデルの働き(SfwBotの例)

SfwBotのヌード検出は、画像、GIF、動画を「日常」「露出あり」「ヌードを示唆」「露骨」の4段階で評価します。ブロックを始めるレベルを選ぶと、Botはそのレベル以上をすべて削除します。新しいサーバーでは「露骨」のみがブロックされます。GIFや動画では、一部のフレームを抜き出して評価します。

モデルは評価するだけです。メッセージをどう扱うかは、選んだレベル、除外するチャンネルとロール、ホワイトリストとブラックリストで決まります。AIによるNSFW検出のしくみでは、1枚の画像が各ステップを通る流れを追っています。

SfwBotが検出するのはヌードのみです。暴力やグロテスクな画像、その他の有害な画像は検出しないため、それらはモデレーターが対応します。

言語モデルによるテキストのモデレーション

言語モデルは、禁止ワードを含まない侮辱や、フィルターをすり抜けるように綴られた侮辱も検知できます。単語リストにはできないことです。

弱点は、モデルが見えないものから生まれます。友達同士の冗談の侮辱、誰かを報告するための引用、モデルがよく知らない皮肉やスラングは、誤って検知されることがあります。普通の言葉で書かれた本物の脅迫は、見逃されることがあります。また、テキストモデルはすべてのメッセージを読むため、画像チェックよりもはるかに多くのメンバーの文章がDiscordの外に出ます。

SfwBotはAIによるテキストのモデレーションを行いません。招待フィルター、スパムフィルター、リンク保護は、管理者が管理するルールとリストに従って動作し、クレジットを使わず、各チェックの結果だけを保存します。

どちらの方向にも起こる誤判定

それぞれの皿に画像のタイルが載り、片方が下がっている天秤

誤検知(フォールスポジティブ)は、問題のないものを削除してしまうことです。見逃し(フォールスネガティブ)は、検知すべきものを通してしまうことです。どのモデルにも両方が起こります。

画像で多い誤検知は、手や食べ物など肌色に近い面のクローズアップ、古典絵画、際どい服装です。多い見逃しは、小さい画像や切り取られた画像、そして長い動画のうちBotが抜き出すフレームの合間にある露骨なフレームです。

選んだレベルによってバランスは変わります。「露出あり」からブロックすると、水着の写真も削除され、問題のないビーチの写真も含まれます。削除する前に1件ずつ確認したい場合は、ブロックしたコンテンツを削除をオフにしてください。Botはログチャンネルに報告するだけになり、モデレーターが判断します。画像がすり抜けた場合は、ブラックリストに追加すると、次回からそのフィンガープリントで検知されます。

モデルには見えない文脈

光の筋の中にある彫刻の胸像と、その隣の空の吹き出し

画像モデルが見るのは画像そのものだけです。キャプションは読まず、チャンネルの話題も、誰が投稿したかも分かりません。

  • アート。 イラスト、絵画、彫刻は、描かれている内容で評価されます。PlusとProでは、イラストとアートでアート作品に別のレベルを設定するか、すべて許可できます。
  • 医療や教育の画像。 解剖図や健康相談のための写真も、ほかの画像と同じように評価されます。こうした話題は除外チャンネルに追加したチャンネルで行うか、Proではそのチャンネルに専用のレベルを設定してください。
  • ミーム。 ヌードを含まない下品な冗談は、モデルにとっては「日常」です。その冗談がルールに反するかどうかは、モデレーターが判断します。

メンバーの投稿の送信先

AIモデレーションでは、どの方式でも、メンバーの投稿のコピーがチェックのためにDiscordの外に出ます。モデルを運用しているのは誰か、外部のAI企業が内容を受け取るのか、何がどれだけの期間保存されるのかを確認してください。Botを追加する前に確認することに確認事項をまとめています。

SfwBotは、スキャンのために画像をダウンロードし、終わるとすぐに破棄します。画像のフィンガープリントとDiscord上のメディアへのリンクは30日間保存されます。管理者自身のリストにあるフィンガープリントは、削除するまで残ります。サーバーはドイツでホストされており、セキュリティとプライバシーのページにある処理者の一覧に、外部のAI企業は含まれていません。スタッフが画像を見るのは、判定が審査のために報告されたときだけで、保存されたリンクからその1枚を開きます。

コストと速度

AIによるチェックはすべて計算時間を使い、その費用は運営側が負担します。SfwBotでは、AIスキャンのたびにクレジットを使い、無料プランには毎月クレジットが含まれます。ホワイトリストとブラックリストに一致した場合は無料で、同じメディアが1日以内に再投稿されても二重にスキャンされることはありません。クレジットがなくなるとスキャンは一時停止しますが、ブラックリストは引き続き動作します。

Botがメッセージを知るのは、Discordに投稿された後です。Botが画像をダウンロードして評価している間、その画像はチャンネルに表示されており、見ているメンバーには見えてしまいます。Discordの不適切な画像のフィルターとAutoModは、メッセージが表示される前に動作するため、どのBotを使う場合もオンのままにしてください。

異議申し立てを今もモデレーターが判断する理由

モデルは、サーバーのルールもメンバーの履歴も、本人の意図も知らないまま評価を出します。Botに頼る前に、誤判定をメンバーとモデレーターがどう取り消せるかを確認してください。

SfwBotでは、削除のたびにログチャンネルへ記録されます。このサーバーで許可を押すと、その画像がホワイトリストに入り、再び削除されなくなります。誤判定として報告を押すと、SfwBotチームに審査のため送信されます。メンバーは /standing から自分の削除を報告できます。AIスキャンによる削除では、信頼設定でオンにしない限り、メンバーの信頼スコアは下がりません。

BAN、メンバー同士の言い争い、誰かが異議を唱えるすべてのケースは、チームが担当します。各設定とボタンについては、ヌード検出ガイドで説明しています。

よくある質問

AIだけでDiscordサーバーをモデレーションできますか?

できません。AIが担当できるのは、露骨な画像を時間を問わず削除するような、限られた繰り返しのチェックです。文脈に左右されるルール、メンバー同士のもめごと、異議申し立ては、人が対応する必要があります。

SfwBotはAIでテキストメッセージを読みますか?

読みません。SfwBotのAIが評価するのは、画像、GIF、動画のヌードです。招待、スパム、詐欺リンクは、ルールとリストに従うフィルターが処理し、クレジットは使いません。

DiscordサーバーのAIモデレーションに無料のものはありますか?

DiscordのAutoModと不適切な画像のフィルターは無料で、すべてのサーバーに組み込まれています。独自のモデルを動かすBotには運用費用がかかります。SfwBotの無料プランには、毎月スキャン用のクレジットが含まれます。

関連記事