Mô hình ngôn ngữ lớn của Zalo bất ngờ xuất hiện gây thích thú tại AI Summit 2023 

Tại Zalo AI Summit 2023, mô hình ngôn ngữ lớn (Large Language Model – LLM) của Zalo AI đã có màn chào sân thú vị thông qua  thử thách game Kahoot, được thực hiện bởi Tinhte.vn. 

Trong thử thách này, LLM của Zalo AI đã so tài với các mô hình ngôn ngữ lớn hiện hành trên thế giới như: GPT-4, GPT-3.5 (OpenAI), QWen (Alibaba), LLaMA (Meta) và một mô hình khác của Việt Nam mới được giới thiệu gần đây. Bên cạnh trí tuệ nhân tạo, thử thách này còn có sự tham gia thi đấu của con người là quản trị viên Tinhte.vn. 

Ngoài ra, tại Zalo AI Summit 2023, các khách mời chuyên gia cũng mang đến những chia sẻ hữu ích về trí tuệ nhân tạo tạo sinh (Generative AI) và các mô hình ngôn ngữ lớn (LLMs). Đồng thời, Zalo cũng đã công bố kết quả và trao giải cho 15 đội xuất sắc nhất cuộc thi Zalo AI Challenge 2023 tại sự kiện lần này. 

Sự xuất hiện bất ngờ của LLM do Zalo AI phát triển 

Điểm nhấn sự kiện là “Thử thách Kahoot của các Mô hình ngôn ngữ lớn” được đặt ra bởi Tinhte.vn, với sự tham gia của con người và các LLMs hiện có trên thị trường. Cụ thể:  chatbot Kiki dựa trên LLM của Zalo AI, GPT-4, GPT-3.5 (OpenAI), QWen (Alibaba), LLaMA (Meta), và một mô hình khác của Việt Nam vừa được ra mắt gần đây. Tham gia thử thách, các LLMs phải vượt qua 20 câu hỏi trắc nghiệm do Tinhte.vn đưa ra thuộc nhiều lĩnh vực khác nhau như đời sống – xã hội, khoa học thường thức, văn học, lịch sử, địa lý và tiếng Anh… trong thời gian chỉ 10 giây/câu hỏi. 

Kết quả trung bình các LLMs đã trả lời đúng 8/20 câu hỏi. Trong đó, nhiều câu có độ thử thách cao, mà một người bình thường khó có thể trả lời chính xác chỉ trong vòng 10 giây. Kết thúc trò chơi, vị trí dẫn đầu thuộc về quản trị viên Tinhte.vn. Riêng Kiki xếp hạng 3 chung cuộc chỉ sau một mô hình ngôn ngữ lớn là GPT-4 của OpenAI và quản trị viên Tinhte.vn . 

“Các mô hình AI rất tuyệt vời nhưng vẫn còn khoảng cách lớn để phát triển về cả ngôn ngữ và nội dung”, anh Cuhiep Trần – Admin Tinhte.vn nhận định. 

Phiên bản Kiki tham gia Kahoot được phát triển trên mô hình ngôn ngữ lớn của Zalo AI. Mô hình dựa theo kiến trúc transformer, được huấn luyện bằng các kỹ thuật như Flash Attention và Llama với dữ liệu hướng dẫn chất lượng cao. Mô hình của Zalo AI đang hướng đến mục tiêu xử lý đa tác vụ, như: dịch văn bản, sáng tạo và viết nội dung, trích xuất thông tin trong văn bản và trả lời câu hỏi… Trước đó, LLM này cũng đã từng được thử nghiệm để tạo ra hàng triệu bài thơ nhân dịp 8/3 và 20/10. 

Hiện Zalo đang phát triển mô hình ngôn ngữ lớn của mình trên nhiều kích cỡ mô hình khác nhau, từ 1B đến 30B tham số. Phiên bản chatbot Kiki được trình diễn tại Zalo AI Summit được huấn luyện trên mô hình 7B tham số. Trong tương lai, Zalo sẽ tiếp tục cải tiến mô hình của mình trước khi ra mắt người dùng và cung cấp nền tảng cho các ứng dụng hữu ích như chatbot, chăm sóc khách hàng, trình sáng tạo nội dung… 

Trong một đánh giá khác thực hiện trên VMLU – Bộ tiêu chuẩn đánh giá năng lực tiếng Việt cho các mô hình ngôn ngữ lớn, được hợp tác phát triển bởi Zalo AI và Viện khoa học Công nghệ Tiên tiến Nhật Bản (JAIST), cho thấy mô hình của Zalo xếp thứ hai chỉ sau GPT-4 trong hầu hết mục đánh giá. Đây là một kết quả đáng khích lệ với một mô hình có thời gian huấn luyện không lâu, cho thấy tiềm năng phát triển và bắt kịp thế giới của ngành AI Việt Nam. 

Diễn đàn AI với hơn 400 kỹ sư & lập trình viên tham gia  

Zalo AI Summit 2023 lấy chủ đề “In the era of Generative AI – Trong kỷ nguyên trí tuệ nhân tạo tạo sinh”. Diễn giả đồng hành cùng sự kiện năm nay là chuyên gia tại các tập đoàn công nghệ và các đơn vị nghiên cứu AI hàng đầu trên thế giới, như Nvidia, ĐH Warwick (Anh Quốc), Viện khoa học và Công nghệ Tiên tiến Nhật Bản (JAIST). 

“Thông qua diễn đàn thường niên AI Summit, Zalo muốn mang đến chia sẻ hữu ích về xu hướng ngành và trình diễn những sản phẩm mới nhất. Chúng tôi hy vọng sự kiện sẽ truyền thêm động lực cho cộng đồng và góp phần thúc đẩy trí tuệ nhân tạo Việt Nam bắt kịp với trình độ chung của thế giới” – Ông Nguyễn Minh Tú, Giám đốc công nghệ Zalo Group, người chủ trì Zalo AI Summit 2023 chia sẻ. 

Tại sự kiện, diễn giả đã lần lượt cập nhật về những bước tiến mới nhất trong lĩnh vực trí tuệ nhân tạo tạo sinh, đặc biệt là về mô hình ngôn ngữ lớn (LLMs) cả trong và ngoài nước. 

• Trong phần chia sẻ đầu tiên, PGS. Trần Thanh Long – Phó trưởng khoa và Giám đốc nghiên cứu, khoa Khoa học máy tính tại ĐH Warwick (Anh) đã đặt câu hỏi liệu các LLM có phải tương lai của AI hay không. PGS cũng đưa ra dẫn chứng về các ứng dụng thực tế lẫn thách thức tiềm ẩn của việc áp dụng AI trong nhiều mặt của đời sống.
• Tối tiếp chương trình, TS. Nguyễn Trường Sơn – Giám đốc khoa học và anh Khang Mạnh Tử đến từ Bộ phận vận hành hạ tầng của Zalo AI cũng đã chia sẻ những thách thức về nguồn dữ liệu chất lượng và cơ sở hạ tầng phần cứng khi xây dựng LLM. Đồng thời, hai diễn giả cũng chia sẻ về những nỗ lực của đội ngũ kĩ sư Zalo AI để xây dựng LLM dành riêng cho người Việt. 
• Sự kiện cũng đã kết nối với TS. Ettikan K Karuppiah – Giám đốc công nghệ, Nvidia, khu vực Châu Á – Thái Bình Dươngđể lắng nghe những dự đoán thú vị của ông về những mô hình Generative AI sẽ “lên ngôi” trong thời gian tới, đặc biệt là mô hình ngôn ngữ thị giác (Visual Language Model – VLM). 
• Đặc biệt, trong phần trình bày cuối cùng, GS. Nguyễn Lê Minh – Giám đốc Trung tâm nghiên cứu Interpretable AI ở Viện khoa học và Công nghệ Tiên tiến Nhật Bản (JAIST) và TS. Châu Thành Đức – Trưởng bộ phận nghiên cứu Zalo AI Lab đã cùng trình bày về tính cấp thiết của việc xây dựng một tiêu chuẩn đánh giá năng lực tiếng Việt chung cho gần 16.000 LLMs hiện nay. Đồng thời hai chuyên gia cũng chia sẻ về tính hữu ích của VMLU – Bộ tiêu chuẩn đánh giá năng lực tiếng Việt cho các LLMs, được hợp tác phát triển bởi Zalo AI và JAIST gần đây. 

Trao giải cuộc thi Zalo AI Challenge  

Điểm nhấn của sự kiện Zalo AI Summit năm nay còn là phần công bố và trao giải cho các đội thi xuất sắc của Zalo AI Challenge 2023. Cuộc thi đã diễn ra gần 1 tháng qua với sự tham gia của hơn 1.000 đội thi, giải quyết 3 bộ đề thử thách từ Ban tổ chức: Elementary Maths Solving – yêu cầu xây dựng mô hình tự giải toán, Advertising Banner Generation – thiết kế hình ảnh và Background Music Generation – sáng tác nhạc. 

• Ba đội Quán Quân tại ba bộ đề thi tương ứng gồm: đội NguyenLe, đội T-Sharp và đội Berlin. Phần thưởng dành cho đội Quán Quân gồm 3.500 USD tiền mặt; bộ quà tặng từ Intel bao gồm 1 bộ công cụ Intel NUC với bộ xử lý Intel Core thế hệ thứ 11 và 1 máy ảnh cảm biến độ sâu Intel RealSense D415 cũng như sở hữu thêm 1 card đồ họa LEADTEK NVIDIA RTX A4500 20GB từ nhà tài trợ LEADTEK. 
• Ba đội giành giải Á Quân gồm: đội 4F, đội Invisible và đội AQN. Giải thưởng dành cho các đội Á Quân gồm giải thưởng 1.500 USD tiền mặt và bộ quà tặng từ Intel kể trên. 
• Ngoài ra, Top 5 chung cuộc tại 3 bộ đề thi cũng nhận được quà từ nhà tài trợ Intel, gồm 1 bộ công cụ Intel® NUC với bộ xử lý Intel Core thế hệ thứ 11 và 1 máy ảnh cảm biến độ sâu Intel® RealSense™ D415. 

Trong bối cảnh “cung không đủ cầu” của nguồn nhân lực trí tuệ nhân tạo tại Việt Nam hiện nay, với cuộc thi AI Challenge, Zalo hy vọng có thể góp truyền cảm hứng và thu hút thêm nhân tài cho lĩnh vực này trong tương lai.