Hướng tới tương lai: Một báo cáo mới đã tiết lộ số lượng lớn GPU Nvidia được Microsoft sử dụng và những đổi mới mà hãng đã thực hiện trong việc sắp xếp chúng để giúp OpenAI đào tạo ChatGPT. Tin tức được đưa ra khi Microsoft công bố một bản nâng cấp đáng kể cho siêu máy tính AI của mình để tiếp tục sáng kiến AI sáng tạo trong nước.
Theo Bloomberg, OpenAI đào tạo ChatGPT trên siêu máy tính được Microsoft xây dựng từ hàng chục nghìn GPU Nvidia A100. Microsoft công bố một mảng mới sử dụng GPU H100 mới hơn của Nvidia trong tuần này.
Thách thức mà các công ty phải đối mặt bắt đầu vào năm 2019 sau khi Microsoft đầu tư 1 tỷ USD vào OpenAI đồng thời đồng ý xây dựng một siêu máy tính AI cho công ty khởi nghiệp. Tuy nhiên, Microsoft không có phần cứng nội bộ cho những gì OpenAI cần.
Sau khi mua lại chip của Nvidia, Microsoft đã phải suy nghĩ lại về cách sắp xếp số lượng GPU khổng lồ như vậy để tránh tình trạng quá nóng và mất điện. Công ty sẽ không nói chính xác chi phí nỗ lực là bao nhiêu, nhưng phó chủ tịch điều hành Scott Guthrie đưa ra con số trên vài trăm triệu USD.
Cũng đọc: Nvidia đã giành được thị trường đào tạo AI chưa?
Việc chạy đồng thời tất cả các A100 buộc Redmond phải xem xét cách đặt chúng và nguồn điện của chúng. Nó cũng phải phát triển phần mềm mới để tăng hiệu quả, đảm bảo thiết bị mạng có thể chịu được lượng dữ liệu khổng lồ, thiết kế các khay cáp mới mà nó có thể sản xuất độc lập và sử dụng nhiều phương pháp làm mát. Tùy thuộc vào sự thay đổi của khí hậu, các kỹ thuật làm mát bao gồm bay hơi, làm mát đầm lầy và không khí bên ngoài.
Kể từ thành công ban đầu của ChatGPT, Microsoft và một số đối thủ của nó đã bắt đầu làm việc trên các mô hình AI song song cho các công cụ tìm kiếm và các ứng dụng khác. Để tăng tốc độ AI tổng quát của mình, công ty đã giới thiệu máy ảo ND H100 v5, một máy ảo có thể sử dụng từ tám đến hàng nghìn GPU Nvidia H100.
H100s kết nối thông qua NVSwitch và NVLink 4.0 với băng thông chia đôi 3,6TB/giây giữa mỗi trong số 8 GPU cục bộ trong mỗi máy ảo. Mỗi GPU tự hào có băng thông 400 Gb/giây thông qua các kết nối Nvidia Quantum-2 CX7 InfiniBand và 64GB/giây PCIe5. Mỗi máy ảo quản lý 3,2Tb/giây thông qua mạng lưới cây mỡ không chặn. Hệ thống mới của Microsoft cũng có bộ xử lý Intel Xeon thế hệ thứ 4 và RAM DDR5 16 kênh 4800 MHz.
Microsoft có kế hoạch sử dụng máy ảo ND H100 v5 cho công cụ tìm kiếm Bing mới do AI hỗ trợ, trình duyệt web Edge và Microsoft Dynamics 365. Máy ảo hiện có sẵn để xem trước và sẽ đạt tiêu chuẩn với danh mục đầu tư Azure. người dùng tiềm năng có thể yêu cầu quyền truy cập.