Chuyển đến nội dung

Kiểm duyệt bằng AI trên Discord: làm được gì và không làm được gì

Mô hình hình ảnh, mô hình ngôn ngữ và bộ lọc có sẵn của Discord, cùng những lỗi mỗi loại hay mắc và phần việc mà người kiểm duyệt vẫn giữ.

Bởi SfwBot TeamĐọc 9 phút

Kiểm duyệt bằng AI trên Discord hoạt động tốt với những việc hẹp: mô hình hình ảnh có thể đánh giá mọi bức ảnh về ảnh khỏa thân và xóa những ảnh nhạy cảm vào bất kỳ giờ nào, còn mô hình ngôn ngữ có thể gắn cờ tin nhắn thù địch không chứa từ bị cấm. AI không cân nhắc được ngữ cảnh như đội ngũ của bạn, nên nó mắc lỗi theo cả hai hướng, và vẫn cần một người quyết định các khiếu nại cũng như mọi việc phụ thuộc vào ai nói gì với ai.

Các kiểu kiểm duyệt tự động trên Discord

Có ba thứ khác nhau cùng được gọi là kiểm duyệt bằng AI:

  • Công cụ riêng của Discord. AutoMod chặn tin nhắn khớp với danh sách từ của bạn, danh sách từ thường bị gắn cờ của Discord, hoặc nội dung giống thư rác bị báo cáo rộng rãi. Bộ lọc hình ảnh nhạy cảm trong Cài đặt máy chủ, Thiết lập an toàn kiểm tra ảnh để phát hiện nội dung nhạy cảm. Cả hai đều miễn phí, có sẵn trong mọi máy chủ và chặn tin nhắn trước khi các thành viên khác nhìn thấy. Hãy bật chúng trước khi thêm bất kỳ bot nào.
  • Bộ phân loại hình ảnh. Bot tải từng ảnh xuống và một mô hình đã huấn luyện đánh giá ảnh đó. SfwBot hoạt động theo cách này.
  • Mô hình ngôn ngữ. Bot chuyển văn bản tin nhắn cho một mô hình để gán nhãn, ví dụ là quấy rối hoặc đe dọa. Một số bot chạy mô hình riêng, số khác gửi văn bản đến dịch vụ của một công ty AI.

Mô hình hình ảnh làm gì, lấy SfwBot làm ví dụ

Phát hiện ảnh khỏa thân của SfwBot đánh giá mỗi ảnh, GIF và video theo bốn mức: Thông thường, Hở hang, Khỏa thân ngụ ý và Nhạy cảm. Bạn chọn mức bắt đầu chặn, và bot xóa mọi nội dung từ mức đó trở lên. Máy chủ mới chỉ chặn mức Nhạy cảm. Với GIF hoặc video, bot đánh giá một số khung hình mẫu.

Mô hình chỉ đánh giá. Mức bạn chọn, các kênh và vai trò được miễn trừ, cùng danh sách cho phép và danh sách chặn quyết định điều xảy ra với tin nhắn. Cách AI phát hiện NSFW hoạt động theo dõi một bức ảnh qua từng bước.

SfwBot chỉ phát hiện ảnh khỏa thân. Nó không tìm bạo lực, cảnh máu me hay các hình ảnh có hại khác, nên những thứ đó vẫn thuộc về người kiểm duyệt của bạn.

Kiểm duyệt văn bản bằng mô hình ngôn ngữ

Mô hình ngôn ngữ có thể bắt được lời xúc phạm không chứa từ bị cấm hoặc được viết để lách bộ lọc, điều mà danh sách từ không làm được.

Điểm yếu của nó đến từ những gì nó không nhìn thấy. Bạn bè đùa xúc phạm nhau, trích dẫn được đăng để tố cáo ai đó, lời châm biếm hoặc tiếng lóng mà mô hình hiểu kém đều có thể bị gắn cờ, còn một lời đe dọa thật bằng từ ngữ bình thường có thể lọt qua. Mô hình văn bản cũng đọc mọi tin nhắn, nên lượng nội dung thành viên viết rời khỏi Discord nhiều hơn hẳn so với kiểm tra hình ảnh.

SfwBot không kiểm duyệt văn bản bằng AI. Bộ lọc lời mời, bộ lọc thư rác và tính năng bảo vệ liên kết của nó tuân theo các quy tắc và danh sách do bạn kiểm soát, không dùng tín dụng và chỉ lưu kết quả của mỗi lần kiểm tra.

Phán đoán sai theo cả hai hướng

Một chiếc cân đĩa với một ô ảnh trên mỗi đĩa, một bên thấp hơn

Dương tính giả xóa một thứ vô hại. Âm tính giả để lọt thứ mô hình lẽ ra phải bắt được. Mô hình nào cũng mắc cả hai.

Với hình ảnh, dương tính giả thường gặp là ảnh cận cảnh các bề mặt màu da như bàn tay hoặc đồ ăn, tranh cổ điển và trang phục ở ranh giới. Những ảnh bị bỏ sót thường là ảnh nhỏ hoặc bị cắt, và các khung hình nhạy cảm trong video dài nằm giữa những khung hình mà bot lấy mẫu.

Mức bạn chọn làm thay đổi cán cân. Chặn từ mức Hở hang cũng xóa cả ảnh đồ bơi, kể cả ảnh đi biển vô hại. Để xem từng trường hợp trước khi có gì bị xóa, hãy tắt Xóa nội dung bị chặn: khi đó bot chỉ báo cáo vào kênh nhật ký của bạn và người kiểm duyệt quyết định. Khi một ảnh lọt qua, hãy thêm nó vào danh sách chặn để dấu vân tay của ảnh bị bắt vào lần sau.

Ngữ cảnh mà mô hình không thấy được

Một tượng bán thân trong chùm sáng bên cạnh một bong bóng thoại trống

Mô hình hình ảnh chỉ nhìn bức ảnh. Nó không đọc chú thích, không biết chủ đề của kênh và không biết ai đã đăng.

  • Nghệ thuật. Tranh vẽ, tranh sơn và tượng được đánh giá theo những gì chúng thể hiện. Với Plus và Pro, Minh họa và nghệ thuật cho tác phẩm một mức riêng hoặc cho phép hoàn toàn.
  • Hình ảnh y khoa và giáo dục. Sơ đồ giải phẫu hay ảnh cho một câu hỏi sức khỏe được đánh giá như mọi bức ảnh khác. Hãy thảo luận những chủ đề đó trong một kênh bạn thêm vào Kênh được miễn trừ, hoặc với Pro, cho kênh đó một mức riêng.
  • Meme. Một trò đùa thô tục không có ảnh khỏa thân là mức Thông thường với mô hình. Trò đùa có vi phạm quy tắc của bạn hay không là việc để người kiểm duyệt đánh giá.

Bài đăng của thành viên được gửi đến đâu

Với bất kỳ hình thức kiểm duyệt bằng AI nào, một bản sao nội dung thành viên đăng sẽ rời khỏi Discord để được kiểm tra. Hãy tìm hiểu ai vận hành mô hình, có công ty AI bên ngoài nhận nội dung hay không, và cái gì được lưu trong bao lâu. Cần kiểm tra gì trước khi thêm bot liệt kê các câu hỏi.

SfwBot tải từng ảnh xuống để quét và hủy ngay sau đó. Bot giữ dấu vân tay của ảnh và liên kết đến phương tiện trên Discord trong 30 ngày; dấu vân tay trong danh sách của riêng bạn được giữ cho đến khi bạn xóa. Máy chủ của bot được đặt tại Đức, và danh sách bên xử lý dữ liệu trên trang bảo mật và quyền riêng tư không nêu công ty AI bên ngoài nào. Nhân viên chỉ xem ảnh khi một quyết định được báo cáo để xem xét, bằng cách mở đúng ảnh đó qua liên kết đã lưu.

Chi phí và tốc độ

Mỗi lần kiểm tra bằng AI dùng thời gian tính toán mà bên vận hành phải trả tiền. Với SfwBot, mỗi lần quét bằng AI dùng tín dụng, và gói miễn phí có sẵn tín dụng mỗi tháng. Các kết quả khớp với danh sách cho phép và danh sách chặn của bạn không tốn gì, và cùng một phương tiện đăng lại trong vòng một ngày sẽ không bị quét hai lần. Khi hết tín dụng, việc quét tạm dừng và danh sách chặn của bạn vẫn hoạt động.

Bot chỉ biết về một tin nhắn sau khi Discord đã đăng nó. Trong lúc bot tải xuống và đánh giá ảnh, ảnh vẫn nằm trong kênh và những thành viên đang xem có thể nhìn thấy. Bộ lọc hình ảnh nhạy cảm của Discord và AutoMod hành động trước khi tin nhắn xuất hiện, nên hãy giữ chúng bật cùng với bất kỳ bot nào.

Vì sao người kiểm duyệt vẫn quyết định khiếu nại

Mô hình đưa ra một điểm đánh giá mà không biết quy tắc của bạn, lịch sử của thành viên hay ý họ muốn nói. Trước khi dựa vào một bot, hãy kiểm tra cách một thành viên và một người kiểm duyệt có thể hoàn tác một phán đoán sai.

Trong SfwBot, mỗi lần xóa đều được ghi vào kênh nhật ký của bạn. Cho phép trong máy chủ này đưa ảnh vào danh sách cho phép để không bị xóa lại, và Báo cáo là sai gửi ảnh đến đội ngũ SfwBot để xem xét. Thành viên có thể báo cáo các lần xóa của chính mình qua /standing. Một lần xóa do quét bằng AI không làm thành viên mất độ tin cậy, trừ khi bạn bật điều đó trong cài đặt độ tin cậy.

Việc cấm, tranh cãi giữa các thành viên và mọi trường hợp có người phản đối vẫn thuộc về đội ngũ của bạn. Hướng dẫn phát hiện ảnh khỏa thân trình bày từng cài đặt và nút.

Câu hỏi thường gặp

AI có thể tự kiểm duyệt một máy chủ Discord không?

Không. AI xử lý các việc kiểm tra hẹp, lặp đi lặp lại như xóa ảnh nhạy cảm vào bất kỳ giờ nào. Các quy tắc phụ thuộc ngữ cảnh, tranh chấp giữa các thành viên và khiếu nại cần có con người.

SfwBot có dùng AI để đọc tin nhắn văn bản không?

Không. AI của SfwBot đánh giá ảnh, GIF và video về ảnh khỏa thân. Lời mời, thư rác và liên kết lừa đảo do các bộ lọc theo quy tắc và danh sách xử lý, và chúng không dùng tín dụng.

Có kiểm duyệt bằng AI miễn phí cho máy chủ Discord không?

AutoMod và bộ lọc hình ảnh nhạy cảm của Discord miễn phí và có sẵn trong mọi máy chủ. Các bot chạy mô hình riêng phải bù chi phí, và gói miễn phí của SfwBot có sẵn tín dụng quét mỗi tháng.

Bài viết liên quan