Nvidia sẽ sớm phát hành TensorRT-LLM, một thư viện mã nguồn mở mới được thiết kế để tăng tốc các thuật toán AI tổng hợp trên GeForce RTX và GPU RTX chuyên nghiệp. Các chip đồ họa mới nhất của tập đoàn Santa Clara bao gồm bộ xử lý AI chuyên dụng được gọi là Lõi Tensorhiện đang cung cấp khả năng tăng tốc phần cứng AI nguyên bản cho hơn 100 triệu PC và máy trạm chạy Windows.
Trên hệ thống được trang bị RTX, TenorRT-LLM dường như có thể mang lại hiệu suất suy luận nhanh hơn gấp 4 lần cho các mô hình ngôn ngữ lớn (LLM) AI mới nhất và tiên tiến nhất như Llama 2 và Code Llama. Mặc dù TensorRT ban đầu được phát hành cho các ứng dụng trung tâm dữ liệu nhưng hiện tại nó đã có sẵn cho PC Windows được trang bị chip đồ họa RTX mạnh mẽ.
Các LLM hiện đại thúc đẩy năng suất và là trung tâm của phần mềm AI, như Nvidia đã lưu ý. Nhờ TensorRT-LLM (và GPU RTX), LLM có thể hoạt động hiệu quả hơn, mang lại trải nghiệm người dùng được cải thiện đáng kể. Chatbots và trợ lý mã có thể tạo ra nhiều kết quả tự động hoàn thành duy nhất cùng một lúc, cho phép người dùng chọn phản hồi tốt nhất từ đầu ra.
Thư viện nguồn mở mới cũng có lợi khi tích hợp thuật toán LLM với các công nghệ khác, như Nvidia đã lưu ý. Điều này đặc biệt hữu ích trong các kịch bản thế hệ tăng cường truy xuất (RAG) trong đó LLM được kết hợp với thư viện vectơ hoặc cơ sở dữ liệu. Các giải pháp RAG cho phép LLM tạo phản hồi dựa trên các tập dữ liệu cụ thể (chẳng hạn như email của người dùng hoặc bài viết trên trang web), cho phép đưa ra các câu trả lời có mục tiêu và phù hợp hơn.
Nvidia đã thông báo rằng TensorRT-LLM sẽ sớm có sẵn để tải xuống thông qua trang web Nvidia Developer. Công ty đã cung cấp các mô hình TensorRT được tối ưu hóa và bản demo RAG với tin tức về GeForce trên ngc.nvidia.com và GitHub.
Trong khi TensorRT được thiết kế chủ yếu cho các chuyên gia và nhà phát triển AI có năng lực sáng tạo, Nvidia cũng đang nghiên cứu các cải tiến bổ sung dựa trên AI cho khách hàng sử dụng GeForce RTX truyền thống. TensorRT hiện có thể tăng tốc độ tạo hình ảnh chất lượng cao bằng cách sử dụng Khuếch tán ổn định, nhờ các tính năng như hợp nhất lớp, hiệu chỉnh chính xác và tự động điều chỉnh hạt nhân.
Ngoài ra, Tensor Cores trong GPU RTX đang được sử dụng để nâng cao chất lượng của các luồng video internet chất lượng thấp. RTX Video Super Độ phân giải phiên bản 1.5, có trong bản phát hành mới nhất của Trình điều khiển đồ họa GeForce (phiên bản 545.84), cải thiện chất lượng video và giảm hiện tượng giả trong nội dung được phát ở độ phân giải gốc nhờ công nghệ “xử lý pixel AI” tiên tiến.