Mô hình DarkDiff của Apple tích hợp AI khuếch tán trực tiếp vào quy trình xử lý ảnh thô, giúp khôi phục chi tiết và màu sắc ảnh thiếu sáng tốt hơn các phương pháp xử lý truyền thống.
Chụp ảnh trong môi trường gần như không có ánh sáng luôn là thách thức lớn đối với mọi hệ thống camera. Không ít lần, người dùng bấm máy trong bóng tối và nhận lại những bức ảnh đầy nhiễu, hạt vỡ và chi tiết mờ nhạt – nguyên nhân đến từ việc cảm biến không thu được đủ photon để tái tạo hình ảnh một cách chính xác.
Trong nhiều năm qua, các hãng công nghệ, trong đó có Apple, đã dựa vào thuật toán xử lý hình ảnh để “cứu” những bức ảnh thiếu sáng. Tuy nhiên, cách làm truyền thống thường gây tranh cãi khi làm mất chi tiết thật, tạo ra bề mặt quá mịn, thậm chí khiến hình ảnh trông giống tranh sơn dầu hơn là ảnh chụp thực tế.
DarkDiff – cách tiếp cận mới cho ảnh thiếu sáng
Để giải quyết tận gốc vấn đề này, nhóm nghiên cứu đến từ Apple và Đại học Purdue đã phát triển một mô hình AI mang tên DarkDiff. Thay vì xử lý ảnh ở bước hậu kỳ như thông thường, DarkDiff được tích hợp trực tiếp vào chuỗi xử lý tín hiệu hình ảnh (ISP) của camera – nơi dữ liệu thô từ cảm biến bắt đầu được “hiểu” và chuyển hóa thành ảnh hoàn chỉnh.
Điểm khác biệt then chốt của DarkDiff nằm ở việc tái sử dụng một mô hình diffusion tạo sinh đã được huấn luyện sẵn (tương tự Stable Diffusion), giúp AI không chỉ khử nhiễu mà còn suy luận được chi tiết hợp lý cần tồn tại trong các vùng tối dựa trên ngữ cảnh tổng thể của bức ảnh.
Giữ cấu trúc thật, hạn chế “bịa” chi tiết
Một trong những rủi ro lớn nhất của AI tạo ảnh là hiện tượng “hallucination” – tự sinh ra chi tiết không có thật. DarkDiff khắc phục điều này bằng cách áp dụng cơ chế chú ý cục bộ theo từng vùng nhỏ của ảnh, qua đó bảo toàn cấu trúc thật và giảm nguy cơ AI làm sai lệch nội dung.
Trong quy trình này, các bước xử lý nền tảng như cân bằng trắng hay tách màu (demosaic) vẫn do ISP đảm nhiệm. DarkDiff chỉ can thiệp sau đó, làm sạch nhiễu và chuyển ảnh tuyến tính RGB thành ảnh sRGB hoàn chỉnh, sẵn sàng để hiển thị hoặc lưu trữ.
Ngoài ra, mô hình còn cho phép điều chỉnh mức “tuân thủ” dữ liệu gốc thông qua kỹ thuật classifier-free guidance. Khi mức này thấp, ảnh đầu ra mượt hơn nhưng ít chi tiết; khi tăng lên, kết cấu và độ sắc nét được cải thiện, đổi lại là nguy cơ xuất hiện artefact nếu thiết lập quá cao.
Kết quả thử nghiệm và những giới hạn hiện tại
DarkDiff đã được thử nghiệm trên các bức ảnh chụp trong điều kiện ánh sáng cực thấp bằng những máy ảnh như Sony A7S II, với thời gian phơi sáng ngắn chỉ khoảng 1/30 giây. Kết quả được so sánh với ảnh tham chiếu chụp bằng chân máy và thời gian phơi sáng dài gấp hàng trăm lần, cho thấy DarkDiff tái tạo chi tiết và màu sắc vượt trội so với nhiều phương pháp hiện có.
Tuy vậy, nhóm nghiên cứu cũng thừa nhận hạn chế của công nghệ này. Quá trình xử lý đòi hỏi năng lực tính toán rất lớn, khó có thể chạy trực tiếp trên smartphone mà không ảnh hưởng đến pin và hiệu năng. Trong thực tế, giải pháp này nhiều khả năng cần đến xử lý đám mây. Bên cạnh đó, DarkDiff vẫn gặp khó khăn với việc nhận diện văn bản không phải tiếng Anh trong môi trường thiếu sáng.
Ý nghĩa đối với tương lai nhiếp ảnh di động
Dù chưa có dấu hiệu cho thấy DarkDiff sẽ sớm xuất hiện trên iPhone thương mại, nghiên cứu này cho thấy hướng đi rõ ràng của Apple trong lĩnh vực nhiếp ảnh điện toán. Khi giới hạn vật lý của phần cứng ngày càng rõ rệt, phần mềm và AI sẽ đóng vai trò quyết định trong việc nâng cao chất lượng ảnh chụp trên thiết bị di động.
Trong bối cảnh người dùng ngày càng kỳ vọng smartphone có thể chụp tốt trong mọi điều kiện ánh sáng, những công nghệ như DarkDiff có thể chính là nền tảng cho thế hệ camera tiếp theo – nơi AI không “vẽ lại” thực tế, mà giúp cảm biến nhìn rõ hơn những gì vốn đã tồn tại trong bóng tối.