Apple công bố chi tiết kỹ thuật về các mô hình ngôn ngữ mới trong Apple Intelligence, với thiết kế tiết kiệm bộ nhớ, kiến trúc đám mây linh hoạt, mở rộng hỗ trợ đa ngôn ngữ và quy trình huấn luyện chú trọng quyền riêng tư.
Sau khi công bố Apple Intelligence tại WWDC25, Apple vừa phát hành báo cáo kỹ thuật chính thức mang tên “Apple Intelligence Foundation Language Models – Tech Report 2025”. Báo cáo cung cấp cái nhìn sâu sắc về cách Apple xây dựng, tối ưu hóa và đánh giá các mô hình ngôn ngữ mới của mình. Dưới đây là bốn điểm đáng chú ý từ tài liệu này.
1. Mô hình AI chạy trên thiết bị được chia thành hai khối
Apple xác nhận rằng mô hình cục bộ trên thiết bị – với khoảng 3 tỷ tham số – được chia thành hai phần: khối đầu tiên chiếm 62,5% số lớp transformer, còn khối thứ hai có 37,5% nhưng được giản lược các thành phần không cần thiết như key/value projection. Cách chia này giúp giảm 37,5% bộ nhớ cần cho lưu đệm và tăng tốc phản hồi token đầu tiên mà không ảnh hưởng đáng kể đến chất lượng đầu ra.
2. Mô hình trên đám mây dùng kiến trúc “Chuyên gia song song” độc đáo
Đối với các tác vụ xử lý trên máy chủ, Apple xây dựng kiến trúc mới có tên Parallel-Track Mixture-of-Experts (PT-MoE). Kiến trúc này cho phép các chuyên gia – những mô hình nhỏ chuyên biệt – chỉ hoạt động khi cần thiết, giúp tiết kiệm tài nguyên và tăng tốc phản hồi. Thay vì xử lý dữ liệu tuần tự như mô hình truyền thống, Apple chia mô hình thành nhiều nhánh hoạt động song song, mỗi nhánh có lớp chuyên gia riêng, tối ưu khả năng xử lý linh hoạt và tiết kiệm.
3. Hỗ trợ đa ngôn ngữ tăng mạnh 275%
Trước những chỉ trích về hạn chế ngôn ngữ ngoài tiếng Anh, Apple đã mở rộng phạm vi ngôn ngữ đáng kể trong mô hình mới. Tỷ lệ dữ liệu huấn luyện đa ngữ tăng từ 8% lên 30%, đồng thời số lượng token (từ vựng mô hình nhận biết) tăng từ 100.000 lên 150.000. Những cải tiến này giúp mô hình thể hiện tốt hơn trong các bài kiểm tra phi tiếng Anh và cải thiện độ tự nhiên trong phản hồi nhờ tinh chỉnh bằng học tăng cường (reinforcement learning).
4. Dữ liệu huấn luyện đến từ nhiều nguồn – nhưng có kiểm soát
Apple cho biết phần lớn dữ liệu đến từ việc quét web công khai qua công cụ Applebot, nhưng luôn tuân thủ chỉ dẫn trong file robots.txt của các trang web. Ngoài ra, công ty còn sử dụng dữ liệu có bản quyền (từ các đối tác như Condé Nast hay NBC News), dữ liệu tổng hợp (do mô hình nhỏ hơn tạo ra) để huấn luyện các tác vụ phức tạp như toán học, lập trình và xử lý hình ảnh, cùng với hơn 10 tỷ cặp ảnh – mô tả, bao gồm cả ghi chú viết tay và ảnh chụp màn hình có OCR.
Nhận định chung
Dù Apple bị đánh giá là “chậm chân” trong cuộc đua AI, báo cáo này cho thấy hãng vẫn âm thầm nỗ lực cải tiến về mô hình, khả năng đa ngôn ngữ và cách tiếp cận hướng đến quyền riêng tư – điều mà ít công ty công nghệ hiện nay chú trọng triệt để như Apple.