Moderasi AI di Discord: yang bisa dan tidak bisa dilakukan
Model gambar, model bahasa, dan filter bawaan Discord, lengkap dengan kesalahan masing-masing dan bagian yang tetap dipegang moderatormu.
Oleh SfwBot Team6 menit baca

Moderasi AI di Discord bekerja baik untuk tugas yang sempit: model gambar dapat menilai setiap gambar untuk ketelanjangan dan menghapus yang eksplisit kapan saja, dan model bahasa dapat menandai pesan bernada bermusuhan yang tidak mengandung kata terlarang. AI tidak bisa menimbang konteks seperti timmu, sehingga ia keliru ke dua arah, dan manusia tetap harus memutuskan banding serta hal apa pun yang bergantung pada siapa berkata apa kepada siapa.
Jenis moderasi otomatis di Discord
Ada tiga hal berbeda yang disebut moderasi AI:
- Alat bawaan Discord. AutoMod memblokir pesan yang cocok dengan daftar katamu, daftar kata yang umum ditandai dari Discord, atau konten yang menyerupai spam yang banyak dilaporkan. Filter gambar eksplisit di Pengaturan Server, Penyiapan Keamanan memeriksa gambar untuk konten eksplisit. Keduanya gratis, ada di setiap server, dan menghentikan pesan sebelum anggota lain melihatnya. Aktifkan keduanya sebelum menambahkan bot apa pun.
- Pengklasifikasi gambar. Bot mengunduh setiap gambar dan model terlatih menilainya. SfwBot bekerja dengan cara ini.
- Model bahasa. Bot meneruskan teks pesan ke model yang memberinya label, misalnya pelecehan atau ancaman. Sebagian bot menjalankan modelnya sendiri, yang lain mengirim teks ke layanan perusahaan AI.
Cara kerja model gambar, dengan SfwBot sebagai contoh
Deteksi ketelanjangan SfwBot menilai setiap gambar, GIF, dan video pada empat tingkat: Sehari-hari, Terbuka, Ketelanjangan tersirat, dan Eksplisit. Kamu memilih tingkat awal pemblokiran, dan bot menghapus semua yang berada di tingkat itu dan di atasnya. Server baru hanya memblokir Eksplisit. Untuk GIF atau video, bot menilai sampel frame.
Model hanya memberi penilaian. Tingkatmu, channel dan role yang dikecualikan, serta daftar izin dan daftar blokirmu yang menentukan nasib pesan. Cara kerja deteksi NSFW dengan AI mengikuti satu gambar melalui setiap langkah.
SfwBot hanya mendeteksi ketelanjangan. Bot ini tidak mencari kekerasan, gore, atau gambar berbahaya lainnya, jadi hal-hal itu tetap menjadi tanggung jawab moderatormu.
Moderasi teks dengan model bahasa
Model bahasa dapat menangkap hinaan yang tidak mengandung kata terlarang atau yang dieja untuk mengelabui filter, sesuatu yang tidak bisa dilakukan daftar kata.
Kelemahannya berasal dari hal yang tidak bisa dilihatnya. Teman yang saling menghina sebagai candaan, kutipan yang diposting untuk melaporkan seseorang, sarkasme, atau bahasa gaul yang kurang dikenal model, semuanya bisa ditandai, sementara ancaman nyata dengan kata-kata biasa bisa lolos. Model teks juga membaca setiap pesan, sehingga jauh lebih banyak tulisan anggotamu yang keluar dari Discord dibandingkan dengan pemeriksaan gambar.
SfwBot tidak melakukan moderasi teks dengan AI. Filter undangan, filter spam, dan perlindungan tautannya mengikuti aturan dan daftar yang kamu kendalikan, tidak memakai kredit, dan hanya menyimpan hasil dari setiap pemeriksaan.
Penilaian keliru ke dua arah

Positif palsu menghapus sesuatu yang tidak berbahaya. Negatif palsu meloloskan sesuatu yang seharusnya tertangkap model. Setiap model melakukan keduanya.
Pada gambar, positif palsu yang umum adalah foto jarak dekat permukaan berwarna kulit seperti tangan atau makanan, lukisan klasik, dan pakaian yang berada di perbatasan. Yang umum terlewat adalah gambar kecil atau terpotong, dan frame eksplisit dalam video panjang yang jatuh di antara frame yang disampel bot.
Tingkat yang kamu pilih menggeser keseimbangannya. Memblokir mulai dari Terbuka juga menghapus foto pakaian renang, termasuk foto pantai yang tidak berbahaya. Untuk melihat setiap kasus sebelum ada yang dihapus, matikan Hapus konten yang diblokir: bot hanya melapor ke channel log-mu dan moderator yang memutuskan. Saat ada gambar yang lolos, tambahkan ke daftar blokirmu agar sidik jarinya tertangkap lain kali.
Konteks yang tidak bisa dilihat model

Model gambar hanya melihat gambarnya. Ia tidak membaca keterangan, tidak tahu topik channel, dan tidak tahu siapa yang memposting.
- Seni. Gambar, lukisan, dan patung dinilai dari apa yang ditampilkan. Di Plus dan Pro, Ilustrasi dan seni memberi karya seni tingkatnya sendiri atau mengizinkannya sepenuhnya.
- Gambar medis dan edukasi. Diagram anatomi atau foto untuk pertanyaan kesehatan dinilai seperti gambar lainnya. Adakan diskusi itu di channel yang kamu tambahkan ke Channel yang dikecualikan, atau di Pro beri channel itu tingkatnya sendiri.
- Meme. Lelucon kasar tanpa ketelanjangan dianggap Sehari-hari oleh model. Apakah lelucon itu melanggar aturanmu, moderatormu yang menilai.
Ke mana kiriman anggotamu pergi
Pada moderasi AI apa pun, salinan dari apa yang diposting anggota keluar dari Discord untuk diperiksa. Cari tahu siapa yang menjalankan modelnya, apakah perusahaan AI luar menerima kontennya, dan apa yang disimpan serta berapa lama. Apa yang perlu diperiksa sebelum menambahkan bot memuat daftar pertanyaannya.
SfwBot mengunduh setiap gambar untuk dipindai dan langsung membuangnya setelahnya. Ia menyimpan sidik jari gambar dan tautan ke media di Discord selama 30 hari; sidik jari pada daftarmu sendiri tetap ada sampai kamu menghapusnya. Servernya dihosting di Jerman, dan daftar pemroses di halaman keamanan dan privasinya tidak menyebut perusahaan AI luar. Staf hanya melihat gambar ketika sebuah keputusan dilaporkan untuk ditinjau, dengan membuka satu gambar itu melalui tautan yang tersimpan.
Biaya dan kecepatan
Setiap pemeriksaan AI memakai waktu komputasi yang dibayar operator. Di SfwBot, setiap pemindaian AI memakai kredit, dan paket gratis menyertakan kredit setiap bulan. Kecocokan pada daftar izin dan daftar blokirmu tidak dikenai biaya, dan media yang sama yang diposting lagi dalam sehari tidak dipindai dua kali. Saat kredit habis, pemindaian berhenti sementara dan daftar blokirmu tetap berfungsi.
Bot baru mengetahui sebuah pesan setelah Discord memostingnya. Selagi bot mengunduh dan menilai gambar, gambar itu ada di channel dan anggota yang sedang melihat bisa melihatnya. Filter gambar eksplisit Discord dan AutoMod bertindak sebelum pesan muncul, jadi biarkan keduanya tetap aktif di samping bot apa pun.
Mengapa moderator tetap memutuskan banding
Model memberi penilaian tanpa mengetahui aturanmu, riwayat anggota, atau maksud mereka. Sebelum mengandalkan bot, periksa bagaimana anggota dan moderator dapat membatalkan keputusan yang keliru.
Di SfwBot, setiap penghapusan masuk ke channel log-mu. Izinkan di server ini menaruh gambar di daftar izinmu agar tidak dihapus lagi, dan Laporkan sebagai keliru mengirimnya ke tim SfwBot untuk ditinjau. Anggota dapat melaporkan penghapusan atas kiriman mereka sendiri melalui /standing. Penghapusan oleh pemindaian AI tidak mengurangi kepercayaan anggota kecuali kamu mengaktifkannya di pengaturan kepercayaan.
Ban, perselisihan antaranggota, dan setiap kasus yang dipersoalkan seseorang tetap ditangani timmu. Panduan deteksi ketelanjangan membahas setiap pengaturan dan tombol.
Pertanyaan yang sering diajukan
Bisakah AI memoderasi server Discord sendirian?
Tidak. AI menangani pemeriksaan sempit yang berulang, seperti menghapus gambar eksplisit kapan saja. Aturan yang bergantung pada konteks, perselisihan antaranggota, dan banding membutuhkan manusia.
Apakah SfwBot memakai AI untuk membaca pesan teks?
Tidak. AI SfwBot menilai gambar, GIF, dan video untuk ketelanjangan. Undangan, spam, dan tautan penipuan ditangani filter yang mengikuti aturan dan daftar, dan tidak memakai kredit.
Apakah ada moderasi AI gratis untuk server Discord?
AutoMod dan filter gambar eksplisit Discord gratis dan ada di setiap server. Bot yang menjalankan modelnya sendiri punya biaya yang harus ditutup, dan paket gratis SfwBot menyertakan kredit pemindaian setiap bulan.


