Trong ngữ cảnh: Các trò chơi ngày nay sử dụng kết cấu có độ chi tiết cao có thể nhanh chóng lấp đầy bộ đệm khung hình trên nhiều cạc đồ họa, dẫn đến tình trạng nói lắp và treo trò chơi trong các tựa game AAA gần đây đối với nhiều game thủ. Với việc các nhà sản xuất GPU đang keo kiệt với VRAM ngay cả trên các mẫu máy tầm trung mới nhất, trách nhiệm của các kỹ sư phần mềm là tìm cách khai thác nhiều hơn từ phần cứng hiện có. Có lẽ trớ trêu thay, sự phát triển hứa hẹn nhất theo hướng này cho đến nay lại đến từ Nvidia – tính năng nén kết cấu thần kinh có thể giảm yêu cầu hệ thống cho các tựa game AAA trong tương lai, ít nhất là khi nói đến VRAM và bộ nhớ.
Một trong những chủ đề nóng nhất hiện nay xoay quanh các trò chơi AAA hiện đại và các yêu cầu hệ thống của chúng. Cả thông số kỹ thuật tối thiểu và đề xuất đều tăng lên, và như chúng ta đã thấy với các tựa game như The Last of Us Part I, Forspoken, The Callisto Protocol và Hogwarts Legacy, việc chạy chúng ngay cả ở 1080p bằng cài đặt sẵn Ultra hiện đang gây ra sự cố cho đồ họa thẻ được trang bị 8GB VRAM.
Khi xem khảo sát mới nhất của Steam, chúng ta thấy rằng 8GB là kích thước VRAM phổ biến nhất cho PC có giải pháp đồ họa chuyên dụng. Điều đó có thể sẽ không thay đổi trong một thời gian, đặc biệt là khi việc nâng cấp card đồ họa vẫn còn đắt đỏ và các nhà sản xuất GPU dường như không quan tâm đến việc cung cấp bộ nhớ đồ họa hơn 8GB trên hầu hết các kiểu máy phổ thông.
Cũng đọc: Tại sao các trò chơi PC hiện đại sử dụng quá nhiều VRAM?
Tin vui là Nvidia đang nghiên cứu một giải pháp có thể giảm mức sử dụng VRAM. Trong một nghiên cứu giấy được công bố trong tuần này, công ty trình bày chi tiết một thuật toán mới để nén kết cấu được cho là tốt hơn cả phương pháp nén khối (BC) truyền thống cũng như các kỹ thuật nén nâng cao khác như AVIF và JPEG-XL.
Thuật toán mới được gọi đơn giản là nén kết cấu thần kinh (NTC) và đúng như tên gọi, thuật toán này sử dụng mạng thần kinh được thiết kế dành riêng cho kết cấu vật liệu. Để làm cho điều này đủ nhanh để sử dụng thực tế, các nhà nghiên cứu của Nvidia đã xây dựng một số mạng thần kinh nhỏ được tối ưu hóa cho từng vật liệu. Như bạn có thể thấy từ hình trên, họa tiết được nén bằng NTC giữ được nhiều chi tiết hơn đồng thời nhỏ hơn đáng kể so với ngay cả những họa tiết tương tự được nén bằng kỹ thuật BC xuống còn một phần tư độ phân giải ban đầu.
Trong các trò chơi hiện đại, các thuộc tính trực quan của vật liệu được lưu trữ trong các bản đồ riêng biệt mô tả cách vật liệu đó hấp thụ và phản xạ ánh sáng, đồng thời loại được sử dụng khác nhau giữa các công cụ trò chơi này với công cụ trò chơi khác. Mọi bản đồ thường đóng gói các phiên bản bổ sung, thu nhỏ của bản đồ gốc vào cùng một tệp. Cái gọi là “mipmap” này được sử dụng để tối ưu hóa việc sử dụng bộ nhớ đồ họa khi không cần độ phân giải đầy đủ của kết cấu, chẳng hạn như khi một đối tượng cụ thể ở xa tầm nhìn của bạn.
Cũng đọc: Cách hoạt động của kết xuất trò chơi 3D: Kết cấu
Các nhà nghiên cứu giải thích ý tưởng đằng sau cách tiếp cận của họ là nén tất cả các bản đồ này cùng với chuỗi mipmap của họ thành một tệp duy nhất, sau đó giải nén chúng trong thời gian thực với cùng quyền truy cập ngẫu nhiên như nén kết cấu khối truyền thống.
Việc nén hàng chục nghìn kết cấu độc đáo cho một trò chơi cũng cần có thời gian, nhưng Nvidia cho biết thuật toán mới được cho là nhanh hơn mười lần so với các triển khai PyTorch thông thường. Chẳng hạn, kết cấu vật liệu 4K 9 kênh có thể được nén trong một đến 15 phút bằng cách sử dụng Nvidia RTX 4090, tùy thuộc vào mức chất lượng bạn đặt. Các nhà nghiên cứu lưu ý rằng NTC hỗ trợ kết cấu có độ phân giải lên tới 8K (8.192 x 8.192) nhưng không đưa ra số liệu hiệu suất cho kịch bản như vậy.
Một lợi thế rõ ràng là các nhà phát triển trò chơi sẽ có thể sử dụng NTC để hy vọng giảm các yêu cầu về bộ nhớ và VRAM cho các trò chơi trong tương lai, hoặc ít nhất là giảm giật hình bằng cách lắp nhiều kết cấu hơn vào cùng một bộ đệm khung và do đó giảm nhu cầu hoán đổi chúng vào và ra khi di chuyển qua một môi trường chi tiết. Một ưu điểm khác là NTC dựa vào phép nhân ma trận, tốc độ này nhanh trên các GPU hiện đại và thậm chí còn nhanh hơn khi sử dụng Lõi Tensor trên GPU GeForce RTX.
Tuy nhiên, NTC có một số hạn chế có thể hạn chế khả năng kháng cáo của nó. Đầu tiên, như với bất kỳ quá trình nén mất dữ liệu nào, nó có thể gây ra sự suy giảm chất lượng hình ảnh ở tốc độ bit thấp. Các nhà nghiên cứu đã quan sát thấy hiện tượng nhòe nhẹ, loại bỏ các chi tiết nhỏ, dải màu, chuyển màu và rò rỉ các đặc điểm giữa các kênh kết cấu.
Hơn nữa, các nghệ sĩ trò chơi sẽ không thể tối ưu hóa kết cấu theo tất cả các cách họ làm ngày nay, chẳng hạn như bằng cách giảm độ phân giải của một số bản đồ kết cấu cho các đối tượng hoặc NPC ít quan trọng hơn. Nvidia cho biết tất cả các bản đồ cần phải có cùng kích thước trước khi nén, điều này chắc chắn sẽ làm phức tạp quy trình công việc. Điều này thậm chí còn tồi tệ hơn khi bạn cho rằng lợi ích của NTC không áp dụng ở khoảng cách máy ảnh lớn hơn.
Có lẽ nhược điểm lớn nhất của NTC là lọc kết cấu. Như chúng ta đã thấy với các công nghệ như DLSS, có khả năng xảy ra hiện tượng nhấp nháy hình ảnh và các tạo tác trực quan khác khi sử dụng kết cấu được nén thông qua NTC. Và mặc dù các trò chơi có thể sử dụng bộ lọc bất đẳng hướng để cải thiện sự xuất hiện của kết cấu ở khoảng cách xa với chi phí hiệu suất tối thiểu, nhưng điều tương tự là không thể với NTC của Nvidia vào thời điểm này.
Những người đam mê đồ họa và nhà phát triển trò chơi muốn tìm hiểu sâu về NTC có thể tìm thấy bài báo đây – nó rất đáng để đọc. Nvidia cũng sẽ trình bày thuật toán mới tại SIGGRAPH 2023, bắt đầu vào ngày 6 tháng 8.