Hướng tới tương lai: Khuếch tán ổn định là một mô hình học sâu có khả năng biến các từ thành hình ảnh nhân tạo kỳ lạ, rõ ràng. Mạng máy học thường chạy trên đám mây và nó cũng có thể được cài đặt trên PC mạnh để hoạt động ngoại tuyến. Với những tối ưu hóa hơn nữa, mô hình này cũng có thể chạy hiệu quả trên điện thoại thông minh Android.
Qualcomm đã có thể điều chỉnh các khả năng tạo hình ảnh của Khuếch tán ổn định cho một điện thoại thông minh Android duy nhất được cung cấp bởi thiết bị SoC Snapdragon 8 Gen 2. Đó là một kết quả đáng chú ý, theo công ty có trụ sở tại San Diego, đây mới chỉ là bước khởi đầu cho các ứng dụng AI được quản lý trên các thiết bị điện toán biên. Qualcomm đảm bảo rằng không cần kết nối internet.
BẰNG giải thích trên blog công ty của Qualcomm, Stable Diffusion là một mô hình nền tảng lớn sử dụng mạng thần kinh được đào tạo trên một lượng lớn dữ liệu ở quy mô lớn. Trí tuệ nhân tạo chuyển văn bản thành hình ảnh chứa một tỷ tham số và phần lớn được “giới hạn” trong đám mây (hoặc trên máy tính x86 truyền thống được trang bị GPU gần đây).
Qualcomm AI Research đã sử dụng “tối ưu hóa AI toàn bộ” để lần đầu tiên triển khai Stable Diffusion trên điện thoại thông minh Android, ít nhất là với loại hiệu suất mà công ty mô tả. AI toàn diện có nghĩa là Qualcomm phải điều chỉnh ứng dụng, mô hình mạng thần kinh, thuật toán, phần mềm và thậm chí cả phần cứng, mặc dù rõ ràng cần phải có một số thỏa hiệp để hoàn thành công việc.
https://www.youtube.com/watch?v=B-uojHRr7HE
Trước hết, Qualcomm phải thu nhỏ định dạng dữ liệu dấu chấm động độ chính xác đơn (hoặc FP32) được sử dụng bởi Khuếch tán ổn định thành loại dữ liệu INT8 có độ chính xác thấp hơn. Bằng cách sử dụng lượng tử hóa sau đào tạo của Bộ công cụ hiệu quả mô hình AI (AIMET) mới được tạo, công ty đã có thể tăng đáng kể hiệu suất đồng thời tiết kiệm năng lượng và duy trì độ chính xác của mô hình ở độ chính xác thấp hơn này mà không cần đào tạo lại tốn kém.
Kết quả của việc tối ưu hóa toàn bộ ngăn xếp này là khả năng chạy Khuếch tán ổn định trên điện thoại, tạo ra hình ảnh 512 x 512 pixel trong vòng chưa đầy 15 giây cho 20 bước suy luận. Đây là suy luận nhanh nhất trên điện thoại thông minh và “có thể so sánh với độ trễ của đám mây”, Qualcomm tuyên bố, trong khi đầu vào của người dùng cho lời nhắc văn bản vẫn “hoàn toàn không bị hạn chế”.
Qualcomm cho biết, chạy Stable Diffusion trên điện thoại mới chỉ là bước khởi đầu vì khả năng chạy các mô hình AI lớn trên các thiết bị biên mang lại nhiều lợi ích như độ tin cậy, độ trễ, quyền riêng tư, hiệu quả và chi phí. Hơn nữa, tối ưu hóa toàn bộ ngăn xếp cho bộ tăng tốc phần cứng dựa trên AI có thể dễ dàng được sử dụng cho các nền tảng khác như máy tính xách tay, tai nghe XR và “hầu như bất kỳ thiết bị nào khác do Qualcomm Technologies cung cấp”.