Cách AI phát hiện NSFW hoạt động trên Discord

Phát hiện NSFW bằng AI nghĩa là một mô hình ảnh xem từng bức ảnh được đăng trong máy chủ của bạn và báo cáo mức độ khỏa thân. Bot so sánh kết quả đó với mức bạn đã đặt rồi xóa tin nhắn hoặc để yên. Bài viết này theo dõi một bức ảnh qua quy trình đó, lấy SfwBot làm ví dụ.

Mô hình làm gì với một bức ảnh

Mô hình là một mạng nơ-ron được huấn luyện trên một tập lớn ảnh đã gắn nhãn. Nó không có danh sách ảnh bị cấm để đối chiếu. Nó đã học điểm chung của các ví dụ được gắn nhãn, nên có thể đánh giá một bức ảnh chưa từng thấy.

Với mỗi ảnh, nó trả lời một câu hỏi: mức nào trong bốn mức phù hợp.

Mô hình chỉ đánh giá. Nó không biết quy tắc của bạn và không quyết định gì cả.

Mức của bạn quyết định điều gì bị xóa

Bạn chọn mức bắt đầu chặn, và mọi thứ từ mức đó trở lên sẽ bị xóa. Một máy chủ mới bắt đầu ở mức 3, nên chỉ nội dung nhạy cảm rõ ràng bị gỡ. Một máy chủ dành cho đối tượng nhỏ tuổi hơn có thể bắt đầu chặn từ mức 1.

Sự phân tách này quan trọng khi bạn tinh chỉnh bot. Nếu bị gỡ quá nhiều, bạn nâng mức bắt đầu chặn. Nếu bị gỡ quá ít, bạn hạ nó xuống. Trong cả hai trường hợp, mô hình vẫn giữ nguyên.

Ở các gói trả phí, bạn có thể tinh chỉnh thêm: một mức riêng cho tranh minh họa và nghệ thuật (Plus), và một mức riêng cho từng kênh hoặc danh mục (Pro). Trang bảng giá liệt kê những gì mỗi gói bao gồm.

Điều xảy ra trước khi mô hình được hỏi

Hầu hết ảnh không bao giờ đến được mô hình. SfwBot kiểm tra ba điều trước:

1. Ngoại lệ. Nội dung trong các kênh được miễn trừ và từ các vai trò được miễn trừ sẽ bị bỏ qua. Các kênh giới hạn độ tuổi mặc định cũng bị bỏ qua.
2. Dấu vân tay. Bot tính dấu vân tay của ảnh, một giá trị ngắn gần như không đổi khi ảnh bị đổi kích thước hoặc nén lại. Nếu dấu vân tay nằm trong danh sách cho phép của bạn, ảnh được thông qua. Nếu nằm trong danh sách chặn, ảnh bị gỡ. Cả hai trường hợp đều không cần quét.
3. Lặp lại. Nội dung giống hệt đã được quét trong 24 giờ qua sẽ không được quét lại.

Chỉ phần còn lại mới được gửi đến mô hình. Lần quét đó dùng tín dụng.

GIF và video

Video quá dài để đánh giá như một bức ảnh, nên bot lấy các khung hình từ video và đánh giá chúng. Mặc định, bot kiểm tra 10 khung của một video và 5 khung của một GIF. Với quét video chuyên sâu ở gói Pro, con số là 30 và 15.

Việc lấy mẫu có một hệ quả bạn nên biết: vài khung nhạy cảm trong một video dài có thể nằm giữa các mẫu. Nếu một đoạn clip lọt qua, hãy thêm nó vào danh sách chặn để dấu vân tay của nó bị bắt ở lần sau.

Tệp trên 32 MB không được quét.

Nơi mô hình nhận định sai

Không mô hình ảnh nào đúng mọi lúc. Những lỗi thường gặp là:

• Bề mặt có màu da. Ảnh cận cảnh bàn tay, khuôn mặt hoặc thức ăn đôi khi bị đánh giá quá cao.
• Nghệ thuật. Tranh cổ điển, điêu khắc và nhân vật vẽ khó đánh giá hơn ảnh chụp.
• Trang phục ở ranh giới. Ranh giới giữa mức 0 và mức 1 là nơi kém chắc chắn nhất, vì vậy ít máy chủ chặn từ mức 1.
• Ảnh nhỏ hoặc bị cắt. Mô hình càng thấy ít thì đánh giá càng kém tin cậy.

SfwBot coi quyết định sai là điều sẽ xảy ra. Mỗi lần xóa được gửi đến kênh nhật ký của bạn kèm nút Report as wrong để chuyển đi xem xét. Ảnh nằm trong danh sách cho phép của bạn sẽ không bao giờ bị gỡ trên máy chủ của bạn nữa. Việc mô hình xóa ảnh không làm thành viên mất độ tin cậy trừ khi bạn bật tùy chọn đó, nên một quyết định sai không dẫn đến strike.

Điều gì xảy ra với bức ảnh

Bot tải nội dung về để phân tích và loại bỏ ngay sau đó. Thứ được giữ lại là dấu vân tay. Bản thân ảnh chỉ được giữ khi một quyết định được báo cáo để xem xét, cho đến khi việc xem xét hoàn tất và tối đa 30 ngày.

Dữ liệu lấy từ tin nhắn, chẳng hạn liên kết nội dung và dấu vân tay, bị xóa sau 30 ngày. Dấu vân tay trong các danh sách của riêng bạn được giữ cho đến khi bạn xóa chúng. Chi tiết có trên trang bảo mật và quyền riêng tư.