Một trong những con chip mới là Trainium2, được thiết kế để đào tạo mô hình AI và được cho là mang lại hiệu suất tốt hơn tới 4 lần và tiết kiệm năng lượng gấp 2 lần so với phiên bản tiền nhiệm. Nó cũng dự kiến sẽ cung cấp dung lượng bộ nhớ gấp 3 lần so với chip Trainium thế hệ đầu tiên. Trong nó thông cáo báo chíAmazon cho biết Trainium2 được xây dựng nhằm mục đích đào tạo hiệu suất cao các mô hình nền tảng (FM) và mô hình ngôn ngữ lớn (LLM) với hàng nghìn tỷ tham số.
Công ty cũng tuyên bố rằng Trainium2 sẽ siêu nhanh, cho phép các lập trình viên đào tạo các mô hình trong một khoảng thời gian ngắn mà chip Trainium thế hệ đầu tiên yêu cầu. Theo Amazon, Trainium2 sẽ cung cấp sức mạnh tính toán lên tới 65 exaflop, mang lại “hiệu suất ở cấp siêu máy tính” và cho phép khách hàng đào tạo LLM 300 tỷ tham số trong vài tuần thay vì vài tháng. Một công ty AI được Amazon hậu thuẫn có tên Anthropic đã công bố kế hoạch sử dụng Trainium2 để đào tạo các mô hình của mình.
Một con chip mới khác là Graviton4 dựa trên Arm, được Amazon cho biết là “bộ xử lý AWS mạnh mẽ và tiết kiệm năng lượng nhất cho đến nay”. Nó được thiết kế cho nhiều ứng dụng chạy trên Ultracluster của Amazon Elastic Computing Cloud (EC2) và được cho là mang lại hiệu năng tính toán tốt hơn tới 30%, nhiều lõi hơn 50% và băng thông bộ nhớ nhiều hơn 75% so với Graviton3.
Theo Amazon, con chip mới sẽ cho phép khách hàng cải thiện khả năng thực thi cơ sở dữ liệu hiệu suất cao, bộ nhớ đệm trong bộ nhớ và khối lượng công việc phân tích dữ liệu lớn. Nó có thể được sử dụng để xử lý lượng dữ liệu lớn hơn nhanh hơn chip Graviton thế hệ thứ ba, do đó giảm thời gian đưa ra kết quả và giảm chi phí vận hành.
Amazon sẽ bắt đầu cung cấp chip Trainium2 vào năm tới, trong khi các phiên bản R8g chạy bằng Graviton4 hiện đã có sẵn ở dạng xem trước và dự kiến sẽ có sẵn rộng rãi trong những tháng tới. Các con chip mới sẽ làm tăng sự cạnh tranh trong lĩnh vực phần cứng AI, hiện đang do Nvidia thống trị. Với việc Microsoft cũng đang tăng nhiệt với thông báo gần đây về chip Azure Maia 100 và CPU Azure Cobalt, sẽ rất thú vị để xem cuộc chiến sẽ diễn ra như thế nào trong những tháng và năm tới.