Cara kerja deteksi NSFW berbasis AI di Discord
Model gambar menilai setiap gambar, dan pengaturanmu menentukan langkah berikutnya. Berikut yang dilihat model, di mana ia bisa keliru, dan apa yang disimpan.
Oleh SfwBot Team4 menit baca
Deteksi NSFW berbasis AI berarti model gambar melihat setiap gambar yang diposting di servermu dan melaporkan seberapa banyak ketelanjangan yang tampak. Bot membandingkan hasilnya dengan level yang kamu atur, lalu menghapus pesan atau membiarkannya. Artikel ini mengikuti satu gambar sepanjang proses itu, dengan SfwBot sebagai contoh.
Yang dilakukan model terhadap gambar
Modelnya adalah jaringan saraf yang dilatih dengan sekumpulan besar gambar berlabel. Model ini tidak punya daftar gambar terlarang sebagai pembanding. Ia mempelajari kesamaan contoh berlabel, sehingga bisa menilai gambar yang belum pernah dilihatnya.
Untuk setiap gambar, model menjawab satu pertanyaan: dari empat level, mana yang paling sesuai.
| Level | Nama | Konten yang umum |
|---|---|---|
| 0 | Sehari-hari | Meme, tangkapan layar, swafoto |
| 1 | Terbuka | Pakaian renang, pakaian dalam, dan busana serupa |
| 2 | Ketelanjangan tersirat | Ketelanjangan yang tertutup atau tersembunyi |
| 3 | Eksplisit | Ketelanjangan dan konten seksual yang terlihat |
Model hanya menilai. Ia tidak mengetahui aturanmu dan tidak memutuskan apa pun.
Levelmu menentukan apa yang dihapus
Kamu memilih level tempat pemblokiran dimulai, dan semua dari level itu ke atas dihapus. Server baru dimulai di level 3, sehingga hanya konten eksplisit yang dihapus. Server untuk audiens yang lebih muda mungkin mulai memblokir di level 1.
Pembagian ini penting saat menyetel bot. Jika terlalu banyak yang dihapus, naikkan level awal pemblokiran. Jika terlalu sedikit, turunkan. Modelnya tetap sama di kedua kasus.
Di paket berbayar kamu bisa menyempurnakannya: level terpisah untuk ilustrasi dan seni (Plus), dan level tersendiri untuk channel atau kategori tertentu (Pro). Halaman harga mencantumkan isi tiap paket.
Yang terjadi sebelum model ditanya
Sebagian besar gambar tidak pernah sampai ke model. SfwBot memeriksa tiga hal lebih dulu:
- Pengecualian. Media di channel yang dikecualikan dan dari role yang dikecualikan dilewati. Channel dengan batasan usia dilewati secara default.
- Sidik jari. Bot menghitung sidik jari gambar, yaitu nilai pendek yang nyaris tidak berubah saat gambar diubah ukurannya atau dikompresi ulang. Jika sidik jari ada di daftar izinmu, gambar lolos. Jika ada di daftar blokir, gambar dihapus. Keduanya tidak memerlukan pemindaian.
- Pengulangan. Media identik yang sudah dipindai dalam 24 jam terakhir tidak dipindai lagi.
Hanya sisanya yang dikirim ke model. Pemindaian itu memakai kredit.
GIF dan video
Video terlalu panjang untuk dinilai sebagai satu gambar, jadi bot mengambil beberapa bingkai darinya dan menilainya. Secara default bot memeriksa 10 bingkai dari video dan 5 dari GIF. Dengan pemindaian video mendalam di paket Pro, jumlahnya 30 dan 15.
Pengambilan sampel punya konsekuensi yang perlu kamu ketahui: beberapa bingkai eksplisit dalam video panjang bisa jatuh di antara sampel. Jika sebuah klip lolos, tambahkan ke daftar blokir agar sidik jarinya terdeteksi lain kali.
File di atas 32 MB tidak dipindai.
Di mana model bisa keliru
Tidak ada model gambar yang selalu benar. Kesalahan yang umum:
- Permukaan berwarna kulit. Gambar jarak dekat tangan, wajah, atau makanan kadang dinilai terlalu tinggi.
- Seni. Lukisan klasik, patung, dan karakter gambar lebih sulit dinilai daripada foto.
- Busana di perbatasan. Batas antara level 0 dan level 1 paling tidak pasti, itulah sebabnya hanya sedikit server yang memblokir dari level 1.
- Gambar kecil atau terpotong. Semakin sedikit yang bisa dilihat model, semakin kurang andal penilaiannya.
SfwBot menganggap penilaian keliru sebagai hal yang pasti terjadi. Setiap penghapusan masuk ke channel log dengan tombol Laporkan sebagai keliru yang mengirimnya untuk ditinjau. Gambar di daftar izinmu tidak akan dihapus lagi di servermu. Penghapusan oleh model tidak mengurangi kepercayaan anggota kecuali kamu mengaktifkannya, sehingga satu penilaian keliru tidak berujung pada strike.
Nasib gambar
Bot mengunduh media untuk dianalisis dan membuangnya segera setelahnya. Yang disimpan adalah sidik jarinya. Gambar itu sendiri hanya disimpan saat suatu keputusan dilaporkan untuk ditinjau, sampai peninjauan selesai dan paling lama 30 hari.
Data yang diambil dari pesan, seperti tautan media dan sidik jari, dihapus setelah 30 hari. Sidik jari di daftarmu sendiri tetap ada sampai kamu menghapusnya. Rinciannya ada di halaman keamanan dan privasi.
Pertanyaan yang sering diajukan
Bisakah deteksi AI menggantikan moderator manusia?
Tidak. Deteksi AI menghapus kasus yang jelas dalam sekejap, kapan saja. Moderatormu tetap memutuskan kasus yang dilaporkan dan semua hal yang bergantung pada konteks.
Apakah model belajar dari gambar di servernya?
Bot tidak menyimpan gambar yang dipindainya. Gambar hanya disimpan saat suatu keputusan dilaporkan untuk ditinjau, paling lama 30 hari.
Apakah AI membaca pesan teks?
Tidak. Model menilai gambar, GIF, dan video. Teks ditangani filter terpisah untuk undangan, spam, dan tautan, yang tidak memakai kredit.
Apa yang terjadi saat pemindaian gagal?
Pesan tetap ada, dan kredit untuk pemindaian itu dikembalikan.
