Hướng tới tương lai: Khi hình ảnh AI tổng quát bắt đầu xuất hiện, vấn đề chỉ còn là thời gian trước khi ai đó bắt đầu phát triển các công cụ để tạo video bằng cách sử dụng máy học. Runway có vẻ sẽ cung cấp một trong những triển khai thành công đầu tiên của công nghệ này, tiết lộ một loạt công cụ mà hãng cho biết có thể giúp người sáng tạo tạo video, bao gồm cả lời nhắc bằng văn bản.
Công ty sáng tạo nội dung Runway gần đây tiết lộ bước tiếp theo trong bộ công cụ dành cho video do AI tạo. Bộ phần mềm của nhà phát triển có thể tạo các clip hoạt hình ngắn từ lời nhắc văn bản, hình ảnh tĩnh, sự kết hợp của cả hai hoặc các yếu tố khác. Một ví dụ sử dụng kiểu nhập văn bản để tạo một clip về Thành phố New York nhìn qua cửa sổ căn hộ. Một hình ảnh động khác với ánh sáng hoàn toàn khác.
Một công cụ khác kết hợp hình ảnh và video, áp dụng tính thẩm mỹ trực quan của cái này với cái kia. Trang web của Runway trình bày một ứng dụng lý thuyết trong đó công nghệ biến đổi thế giới thực thô sơ và mô hình 3D thành hình ảnh động.
Công nghệ mới, được đặt tên là Gen-2, là thế hệ thứ hai của các công cụ AI tổng quát của công ty, mà báo cáo chính thức chi tiết. Bước đầu tiên tổng hợp các video có mô hình khuếch tán và cấu trúc có sẵn để kết hợp phong cách trực quan của video với các hình ảnh không liên quan.
Các video trông không thực tế lắm và AI chưa thể tạo các video dài từ đầu, nhưng các clip có thể tạo ra các đoạn phim ngắn nghệ thuật sáng tạo. Cùng với các công cụ khác của công ty, mô hình AI có thể trở thành một phần có giá trị trong quy trình làm việc lớn hơn. Công ty đã không tiết lộ khi nào chuyển văn bản thành video và các công cụ Gen-2 khác sẽ được cung cấp công khai. Tuy nhiên, video thông báo (tiêu đề) lưu ý rằng nó có thể sớm ra mắt.
Gen-2 cũng cung cấp hơn hai chục công cụ khác sử dụng AI chi tiết hơn. Cùng với việc tạo hình ảnh, bộ phần mềm của Runway có thể sử dụng lời nhắc văn bản để thay đổi hình ảnh hiện có, tạo họa tiết cho đối tượng 3D và tô màu cho ảnh đen trắng. Các công cụ chỉnh sửa video của công ty có thể thêm hoặc bớt các yếu tố cảnh, nội suy khung hình, triển khai chuyển động chậm, kiểm duyệt khuôn mặt, tạo bản ghi và phụ đề, trích xuất thông tin độ sâu, theo dõi chuyển động và chỉnh sửa âm thanh. Các chức năng liên quan đến nền cho phép người dùng xóa, thay thế hoặc làm mờ nền của video.