OpenAI công bố bộ phân loại ảnh mới – OpenAI classifier – và các cảnh báo trong ChatGPT nhằm ngăn chặn nội dung lạm dụng trẻ em.
OpenAI công bố công cụ mới nhằm ngăn chặn nội dung lạm dụng trẻ em. Bộ phân loại ảnh mới có khả năng nhận diện hình ảnh CSAM, kể cả những ảnh do AI tạo ra. Công cụ được cung cấp qua API miễn phí cho một số công ty được chọn.
Bộ phân loại hoạt động bằng cách phân tích dấu hiệu hình ảnh chưa từng thấy và đưa ra điểm số chỉ dẫn cho người kiểm duyệt. Theo thử nghiệm ban đầu, công cụ giảm 48% số ảnh bị gắn cờ nhưng vẫn phát hiện cùng lượng ảnh lạm dụng, đồng thời các ảnh được gắn cờ có khả năng là nội dung xấu gấp đôi.

OpenAI hợp tác với Trung tâm Thiếu nhi mất tích và bị lợi dụng (NCMEC) để phát triển công cụ, đồng thời làm việc với Tech Coalition và ROOST để chia sẻ quyền truy cập. Công ty cũng công bố hướng dẫn cho các nhà phát triển về phòng ngừa, phát hiện và báo cáo CSAM.
Trên ChatGPT, người dùng sẽ gặp màn cảnh báo khi nhập yêu cầu liên quan tới nội dung tình dục trẻ em. Cảnh báo kèm liên kết tới hỗ trợ chuyên môn và tài khoản sẽ bị tạm khóa 24 giờ. Nếu vi phạm lặp lại, tài khoản có thể bị xóa vĩnh viễn.
OpenAI xây dựng các thông điệp cảnh báo cùng các tổ chức như Protect Children, Lucy Faithfull Foundation và nhà nghiên cứu Joel Scanlan từ Đại học Tasmania, người đã đánh giá thử nghiệm. Các công cụ còn bao gồm plugin dành cho cơ quan thực thi pháp luật, công cụ điều tra và phân tích dữ liệu phức tạp, cùng hướng dẫn thực địa cho điều tra viên.
Bối cảnh an toàn AI đang trở nên căng thẳng khi một số chatbot khác bị lạm dụng để tạo ảnh không đồng thuận, trong đó có trẻ em. Các biện pháp mới của OpenAI là phần tiếp nối của chuỗi cải tiến trong năm qua, bao gồm bản đồ an toàn, cập nhật hướng dẫn nội dung và phiên bản ChatGPT dành cho thanh thiếu niên.
Góc nhìn TechTimes
TechTimes cho rằng OpenAI classifier là bước tiến đáng chú ý trong việc giảm thiểu CSAM trên các nền tảng AI. Khi giảm 48% số ảnh bị gắn cờ nhưng vẫn duy trì mức phát hiện, công cụ có thể giảm chi phí kiểm duyệt cho các nhà phát triển và đặt chuẩn mới cho triển khai AI có trách nhiệm. Cảnh báo trong ChatGPT tạo rào cản người dùng trước các truy vấn nguy hiểm, tuy nhiên hiệu quả sẽ phụ thuộc vào việc thực thi nhất quán. Sự hợp tác với NCMEC, Protect Children và các tổ chức phi lợi nhuận cho thấy xu hướng xây dựng hệ sinh thái an toàn, trong khi các plugin cho cơ quan thực thi pháp luật mở ra khả năng cung cấp thông tin hành động. Ngành sẽ theo dõi tốc độ áp dụng và liệu các đối thủ AI khác có bắt chước không.







