İçeriğe geç

Discord'da yapay zeka moderasyonu: neler yapabilir, neler yapamaz

Görsel modelleri, dil modelleri ve Discord'un yerleşik filtreleri: her birinin yaptığı hatalar ve moderatörlerinin elinde kalan iş.

Yazar: SfwBot Team6 dk okuma

Discord'da yapay zeka moderasyonu dar kapsamlı işlerde iyi çalışır: bir görsel modeli her resmi çıplaklık açısından derecelendirip müstehcen olanları günün her saati silebilir, bir dil modeli de yasaklı kelime içermeyen düşmanca mesajları işaretleyebilir. Bağlamı ekibin gibi tartamaz, bu yüzden iki yönde de hata yapar. İtirazlara ve kimin kime ne dediğine bağlı her şeye yine bir insan karar vermelidir.

Discord'da otomatik moderasyon türleri

Yapay zeka moderasyonu denen üç farklı şey var:

  • Discord'un kendi araçları. AutoMod, kelime listelerinle, Discord'un sık işaretlenen kelime listeleriyle ya da yaygın olarak bildirilen spama benzeyen içerikle eşleşen mesajları engeller. Sunucu Ayarları, Güvenlik Kurulumu altındaki Müstehcen görsel filtresi görselleri müstehcen içerik açısından kontrol eder. İkisi de ücretsizdir, her sunucuda yerleşiktir ve mesajı diğer üyeler görmeden önce durdurur. Herhangi bir bot eklemeden önce bunları aç.
  • Görsel sınıflandırıcılar. Bir bot her görseli indirir ve eğitilmiş bir model derecelendirir. SfwBot böyle çalışır.
  • Dil modelleri. Bir bot mesaj metnini bir modele verir, model de metni örneğin taciz ya da tehdit olarak etiketler. Bazı botlar kendi modelini çalıştırır, bazıları metni bir yapay zeka şirketinin hizmetine gönderir.

Bir görsel modeli ne yapar, örnek olarak SfwBot

SfwBot'un çıplaklık tespiti her görseli, GIF'i ve videoyu dört düzeyde derecelendirir: Günlük, Açık giyim, İma edilen çıplaklık ve Müstehcen. Engellemenin başlayacağı düzeyi sen seçersin, bot o düzeydeki ve üstündeki her şeyi siler. Yeni bir sunucu yalnızca Müstehcen düzeyini engeller. GIF ya da videoda bot, karelerden bir örneği derecelendirir.

Model yalnızca derecelendirir. Mesaja ne olacağına senin düzeyin, muaf kanallarınla rollerin ve izin ile engel listelerin karar verir. Yapay zeka NSFW tespiti nasıl çalışır yazısı tek bir görseli tüm adımlarda izler.

SfwBot yalnızca çıplaklığı tespit eder. Şiddet, kan ya da diğer zararlı görselleri aramaz; bunlar moderatörlerinde kalır.

Dil modelleriyle metin moderasyonu

Bir dil modeli, yasaklı kelime içermeyen ya da filtreyi aşmak için farklı yazılmış bir hakareti yakalayabilir. Kelime listesi bunu yapamaz.

Zayıf noktaları göremediği şeylerden gelir. Şaka olarak birbirine hakaret eden arkadaşlar, birini bildirmek için paylaşılan bir alıntı, iğneleme ya da modelin az bildiği argo işaretlenebilir; sıradan sözcüklerle yazılmış gerçek bir tehdit ise geçebilir. Bir metin modeli ayrıca her mesajı okur, bu yüzden üyelerinin yazdıklarının çok daha büyük bölümü bir görsel kontrolüne göre Discord'un dışına çıkar.

SfwBot yapay zeka ile metin moderasyonu yapmaz. Davet filtresi, spam filtresi ve bağlantı koruması senin denetlediğin kurallara ve listelere göre çalışır, kredi harcamaz ve her kontrolden yalnızca sonucu saklar.

İki yönde de yanlış kararlar

Her kefesinde bir resim karosu bulunan, bir tarafı daha aşağıda duran terazi

Yanlış pozitif zararsız bir şeyi kaldırır. Yanlış negatif, modelin yakalaması gereken bir şeyi geçirir. Her model ikisini de yapar.

Görsellerde olağan yanlış pozitifler, el ya da yemek gibi ten renkli yüzeylerin yakın çekimleri, klasik tablolar ve sınırda kıyafetlerdir. Olağan kaçırmalar ise küçük ya da kırpılmış görseller ile uzun bir videoda botun örneklediği kareler arasında kalan müstehcen karelerdir.

Seçtiğin düzey dengeyi değiştirir. Açık giyim düzeyinden itibaren engellemek mayo fotoğraflarını da, zararsız plaj resimleri dahil, kaldırır. Hiçbir şey silinmeden önce her vakayı görmek için Engellenen içeriği sil seçeneğini kapat: bot o zaman yalnızca kayıt kanalına bildirir ve kararı bir moderatör verir. Bir görsel geçtiğinde onu engel listene ekle, böylece parmak izi bir dahaki sefere yakalanır.

Modelin göremediği bağlam

Bir ışık huzmesindeki büst heykeli ve yanında boş bir konuşma balonu

Bir görsel modeli yalnızca resme bakar. Açıklamayı okumaz, kanalın konusunu bilmez, kimin paylaştığını bilmez.

  • Sanat. Çizimler, resimler ve heykeller gösterdiklerine göre derecelendirilir. Plus ve Pro'da İllüstrasyonlar ve sanat ayarı sanat eserlerine kendi düzeyini verir ya da tamamen izin verir.
  • Tıbbi ve eğitici görseller. Bir anatomi şeması ya da sağlık sorusu için paylaşılan bir fotoğraf diğer resimler gibi derecelendirilir. Bu konuşmaları Muaf kanallar listesine eklediğin bir kanalda yap ya da Pro'da o kanala kendi düzeyini ver.
  • Mizah görselleri. İçinde çıplaklık olmayan kaba bir şaka model için Günlük düzeyindedir. Şakanın kurallarını bozup bozmadığına moderatörlerin karar verir.

Üyelerinin gönderileri nereye gider

Her yapay zeka moderasyonunda, üyelerin gönderdiklerinin bir kopyası kontrol edilmek üzere Discord'dan çıkar. Modeli kimin çalıştırdığını, içeriği dışarıdan bir yapay zeka şirketinin alıp almadığını ve neyin ne kadar süre saklandığını öğren. Bir bot eklemeden önce nelere bakmalı yazısı soruları listeler.

SfwBot taramak için her görseli indirir ve hemen ardından siler. Görselin parmak izini ve Discord'daki medyanın bağlantısını 30 gün saklar; kendi listelerindeki parmak izleri sen kaldırana kadar durur. Sunucuları Almanya'da barındırılır ve güvenlik ve gizlilik sayfasındaki işleyici listesinde dışarıdan bir yapay zeka şirketi yoktur. Ekip bir görseli yalnızca bir karar incelenmek üzere bildirildiğinde, saklanan bağlantı üzerinden o tek görseli açarak görür.

Maliyet ve hız

Her yapay zeka kontrolü, işletmecinin ödediği hesaplama süresi kullanır. SfwBot'ta her yapay zeka taraması kredi harcar ve ücretsiz plan her ay kredi içerir. İzin ve engel listelerindeki eşleşmeler ücretsizdir ve aynı medya bir gün içinde yeniden paylaşılırsa iki kez taranmaz. Krediler bittiğinde tarama durur ve engel listen çalışmaya devam eder.

Bir bot, bir mesajı ancak Discord yayınladıktan sonra öğrenir. Bot görseli indirip derecelendirirken görsel kanaldadır ve bakan üyeler onu görebilir. Discord'un müstehcen görsel filtresi ve AutoMod mesaj görünmeden önce devreye girer, bu yüzden hangi botu kullanırsan kullan bunları açık tut.

İtirazlara neden hâlâ moderatörler karar verir

Bir model, kurallarını, üyenin geçmişini ya da ne demek istediğini bilmeden bir derecelendirme verir. Bir bota güvenmeden önce, bir üyenin ve bir moderatörün yanlış bir kararı nasıl geri alabileceğini kontrol et.

SfwBot'ta her kaldırma kayıt kanalına gider. Bu sunucuda izin ver görseli izin listene ekler, böylece yeniden kaldırılmaz; Yanlış olarak bildir ise görseli incelenmek üzere SfwBot ekibine gönderir. Üyeler kendi kaldırmalarını /standing ile bildirebilir. Yapay zeka taramasıyla yapılan bir kaldırma, güven ayarlarında açmadığın sürece üyenin güveninden düşmez.

Yasaklamalar, üyeler arasındaki tartışmalar ve birinin itiraz ettiği her vaka ekibinde kalır. Çıplaklık tespiti rehberi her ayarı ve düğmeyi anlatır.

Sık sorulan sorular

Yapay zeka bir Discord sunucusunu tek başına denetleyebilir mi?

Hayır. Müstehcen görselleri günün her saati kaldırmak gibi dar ve tekrarlayan kontrolleri yapar. Bağlama bağlı kurallar, üyeler arasındaki anlaşmazlıklar ve itirazlar için bir insan gerekir.

SfwBot metin mesajlarını okumak için yapay zeka kullanır mı?

Hayır. SfwBot'un yapay zekası görselleri, GIF'leri ve videoları çıplaklık açısından derecelendirir. Davet, spam ve dolandırıcılık bağlantılarını kurallara ve listelere göre çalışan filtreler ele alır ve kredi harcamazlar.

Discord sunucuları için ücretsiz yapay zeka moderasyonu var mı?

Discord'un AutoMod'u ve müstehcen görsel filtresi ücretsizdir ve her sunucuda yerleşiktir. Kendi modellerini çalıştıran botların karşılaması gereken maliyetleri vardır; SfwBot'un ücretsiz planı her ay tarama kredisi içerir.

İlgili yazılar