Modder Reddit chain-77 đã phát hiện rằng một APU Ryzen 5 4600G trị giá 95 USD có thể thực hiện công việc AI đáng nể, bằng cách yêu cầu Linux xem nó là GPU 16 GB.
Sự bùng nổ AI khiến các công ty tranh giành GPU H100 và A100 của Nvidia, vốn đang khan hiếm và có giá hàng chục nghìn USD. Trong khi đó, một modder đã phát hiện và chia sẻ một phương pháp thực hiện các tác vụ AI trên phần cứng có sẵn với giá chưa đến một phần trăm.
Một modder gần đây đã chia sẻ hướng dẫn cho các “vọc sĩ” có thể dùng APU AMD có giá khoảng 100 USD chạy các tác vụ AI thường được liên kết với các card đồ họa đắt tiền hơn nhiều. Nếu hiệu quả, phương pháp này có thể mở rộng đáng kể số lượng người ít nhất có thể thử nghiệm với AI.
Những người chơi nổi bật nhất trong lĩnh vực AI ngày nay vận hành các công cụ như mô hình ngôn ngữ lớn sử dụng card đồ họa H100 và A100 mà Nvidia bán với giá từ 25.000 đến 30.000 USD (được cho là tỷ suất lợi nhuận 1.000% cho nhà sản xuất GPU) và hãng không thể có đủ để cung cấp cho thị trường. Trong khi đó, các hoạt động AI quy mô nhỏ hơn trên phần cứng của người tiêu dùng thường liên quan đến thẻ cao cấp có giá ít nhất vài trăm USD.
Tuy nhiên, người dùng Reddit chain-77 đã phát hiện rằng một APU Ryzen 5 4600G trị giá 95 USD có thể thực hiện công việc AI đáng nể bằng cách yêu cầu Linux xem nó dưới dạng GPU 16 GB. Mặc dù bộ xử lý không thể so sánh với các card chuyên dụng trong kết xuất đồ họa truyền thống, nhưng AI phụ thuộc rất nhiều vào bộ nhớ, trong đó khả năng phân bổ bộ nhớ dùng chung một cách tự do của APU trở thành một lợi thế.
Dành một nửa trong số 32GB RAM của hệ thống cho GPU tích hợp mang lại cho hệ thống nhiều bộ nhớ hơn nhiều chip chuyên dụng mạnh hơn. Các phản hồi trên Reddit gợi ý rằng việc gán thêm RAM cho bộ nhớ video có thể khả thi với một số bo mạch chủ, nhưng chain-77 hiện không thể kiểm tra lý thuyết.
Thiết bị DIY AI hỗ trợ nền tảng ROCm của AMD, cho phép nó chạy các công cụ như Pytorch và TensorFlow. Khi được thử nghiệm trên “Khuếch tán ổn định”, 4600G tạo ra hình ảnh 50 bước 512 x 512 pixel trong vòng chưa đầy hai phút, so sánh thuận lợi với một số thẻ chuyên dụng cao cấp. Fastchat, MiniGPT 4 và Whisper cũng hoạt động, nhưng APU gặp khó khăn với LLaMA. Ryzen 5 5600G giá 130 USD gần đây hơn, được TechSpot coi là sự lựa chọn tuyệt vời cho PC nhỏ gọn khi ra mắt vào năm 2021, có thể thực hiện thủ thuật tương tự như người tiền nhiệm của nó.
Ngoài việc rẻ hơn, các APU cũng tiêu thụ tương đối ít năng lượng khi chạy AI – khoảng 0,35 KWh mỗi ngày. Modder đã phát hành các mô tả chi tiết về công việc của mình trên Medium và YouTube (xem video ở trên) dành cho những người muốn tiết kiệm tiền trong khi thực hiện khối lượng công việc AI.