Khoai tây nóng: Sau khi thu thập toàn bộ trang web để xây dựng các mô hình tổng quát của họ, các công ty AI hiện đang nghiên cứu một mô hình đào tạo mới dựa trên dữ liệu do máy tính tạo ra. Có vẻ như tổng hợp kỹ thuật số tốt hơn nội dung do con người tạo ra cho sự phát triển của AI. Và nó sẽ không gây ra vấn đề gì về vi phạm bản quyền và quyền riêng tư.
Vòng phản hồi AI đang đe dọa phá hủy tương lai của các thuật toán AI tổng quát, vì vậy các tập đoàn công nghệ lớn đang cố gắng tìm ra giải pháp có thể cung cấp cho các mô hình LLM dữ liệu phù hợp để phát triển và phát triển. Tương lai của đào tạo AI dường như được liên kết với “dữ liệu tổng hợp”, đây là một cách ít độc đoán hơn để nói rằng các thuật toán nên nói chuyện với nhau nếu chúng muốn giữ một tâm trí (kỹ thuật số) lành mạnh.
Theo một báo cáo gần đây bởi Financial Times, Microsoft, OpenAI và công ty khởi nghiệp LLM Cohere là một số công ty đã thử nghiệm việc sử dụng dữ liệu tổng hợp nói trên. So với thông tin “tự nhiên” do con người ít ỏi cung cấp, dữ liệu tổng hợp được tạo ra bởi thuật toán máy tính trong khi người giám sát con người cung cấp phản hồi và lấp đầy khoảng trống. Một quá trình được gọi là học tăng cường bằng phản hồi của con người (RLHF).
Với việc các thuật toán AI tổng quát ngày càng trở nên phức tạp, ngay cả những công ty giàu nhất dựa trên AI (Microsoft, Google, v.v.) cũng không dễ dàng có được nội dung “chất lượng” mới để tiếp tục đào tạo các mô hình ngôn ngữ lớn (LLM) của họ. Theo Giám đốc điều hành Aidan Gomez của Cohere, web “quá ồn ào và lộn xộn” đến mức không thể cung cấp dữ liệu mà các công ty AI cần.
Gomez nói rằng để tăng hiệu suất của LLM ngày nay trong việc giải quyết các thách thức về khoa học, chăm sóc sức khỏe hoặc kinh doanh, các nỗ lực đào tạo sẽ yêu cầu “bộ dữ liệu tinh vi và độc đáo” do các chuyên gia cấp thế giới tạo ra. Tuy nhiên, loại dữ liệu do con người tạo ra này “cực kỳ” đắt đỏ nên các công ty AI đang sử dụng các thuật toán AI để… đào tạo các thuật toán AI.
Các mô hình AI cơ bản đã được phát triển với mục đích duy nhất là xuất văn bản, mã hoặc thông tin “phức tạp” khác liên quan đến gian lận tài chính hoặc chăm sóc sức khỏe. Đến lượt mình, thông tin “tổng hợp” này có thể được sử dụng để đào tạo một thế hệ LLM tiên tiến mới nhằm cung cấp cho khách hàng trình độ “thông minh” và tạo văn bản thậm chí còn cao hơn.
Gomez nói rằng Cohere đang làm việc trên một mô hình AI cho toán học cao cấp, với hai mô hình riêng biệt nói chuyện với nhau và đóng vai trò là gia sư toán hoặc học sinh. Gomez nói, hai mô hình có một “cuộc Chat về lượng giác,” và tất cả đều là tổng hợp. Sau đó, con người có thể kiểm tra xem mô hình có nói sai điều gì hoặc hoàn toàn bịa đặt hay không.
Các mô hình AI nói chuyện với nhau cũng cung cấp một giải pháp tiềm năng cho các vấn đề về quyền riêng tư và bản quyền ngày càng đáng lo ngại mà các tập đoàn LLM như OpenAI phải đối mặt. Ali Golshan cho biết, các bộ dữ liệu tổng hợp được thiết kế tốt có thể loại bỏ các sai lệch và mất cân bằng trong dữ liệu hiện có, mặc dù Giám đốc điều hành của công ty khởi nghiệp AI Gretel thừa nhận rằng đào tạo tổng hợp thuần túy cũng có thể cản trở tiến độ. Web đã tràn ngập thông tin do AI tạo ra, do đó sẽ dẫn đến tình trạng xuống cấp của chatbot và “kiến thức bị trào ngược” theo thời gian như dự đoán trong quy trình vòng phản hồi của AI.