Các mô hình ngôn ngữ lớn có khả năng cách mạng hóa cách bạn sống và làm việc, đồng thời có thể tổ chức các cuộc Chat và trả lời các câu hỏi với mức độ chính xác khác nhau.
Để sử dụng một tài khoản, bạn thường cần có tài khoản với nhà cung cấp LLM và đăng nhập qua trang web hoặc ứng dụng chuyên dụng. Nhưng bạn có biết rằng bạn có thể chạy mô hình ngôn ngữ lớn của riêng mình hoàn toàn ngoại tuyến trên Linux không?
Tại sao chạy một mô hình ngôn ngữ lớn trên Linux?
Ngày nay, các mô hình ngôn ngữ lớn (LLM) có ở khắp mọi nơi và có thể xử lý ngôn ngữ tự nhiên cũng như đưa ra các phản hồi thích hợp có thể đánh lừa bạn nghĩ rằng con người đã trả lời. Microsoft đang tung ra phiên bản Bing mới được hỗ trợ bởi AI, trong khi Bard của Alphabet hiện là một phần không thể thiếu trong các tìm kiếm của Google.
Ngoài các công cụ tìm kiếm, bạn có thể sử dụng cái gọi là “AI chatbot” để trả lời các câu hỏi, sáng tác thơ hoặc thậm chí làm bài tập về nhà cho bạn.
Nhưng bằng cách truy cập LLM trực tuyến, bạn phụ thuộc vào thiện chí của nhà cung cấp bên thứ ba—có thể rút tiền bất kỳ lúc nào.
Bạn cũng có thể bị hạn chế sử dụng. Ví dụ: yêu cầu OpenAI viết một tiểu thuyết khiêu dâm dài 6.000 từ lấy bối cảnh ở Đức Quốc xã và bạn sẽ nhận được phản hồi theo dòng “Tôi xin lỗi, nhưng tôi sẽ không thể tạo câu chuyện đó cho bạn.”
Mọi thứ bạn nhập vào LLM trực tuyến đều được sử dụng để đào tạo thêm cho họ và dữ liệu mà bạn có thể muốn giữ bí mật có thể bị tiết lộ trong tương lai như một phần của câu trả lời cho câu hỏi của người khác.
Bạn cũng có thể bị thiếu dịch vụ vì hệ thống tràn ngập người dùng và được yêu cầu đăng ký, vì vậy bạn có thể truy cập nền tảng khi nhu cầu cao.
Dalai là một triển khai mã nguồn mở và miễn phí của Meta’s LLaMa LLM và Stanford’s Alpaca. Nó sẽ chạy thoải mái trên phần cứng khiêm tốn và cung cấp một giao diện web tiện dụng và một loạt các mẫu lời nhắc—vì vậy bạn có thể hỏi bất cứ điều gì bạn muốn mà không sợ quản trị viên sẽ đóng tài khoản của bạn, LLM sẽ từ chối trả lời hoặc kết nối của bạn sắp giảm.
Khi bạn cài đặt LLM cục bộ trên Linux, nó là của bạn và bạn có thể sử dụng nó theo bất kỳ cách nào bạn muốn.
Cách cài đặt Đạt Lai Lạt Ma trên Linux
Cách dễ nhất để cài đặt Dalai trên Linux là sử dụng Docker và Docker Compose. Nếu bạn chưa có những thứ này, hãy tham khảo hướng dẫn của chúng ta về cách cài đặt Docker và Docker Compose.
Với cách đó, bạn đã sẵn sàng để bắt đầu cài đặt Dalai. Sao chép kho lưu trữ GitHub của Dalai và sử dụng lệnh cd để di chuyển vào đó:
git clone https://github.com/cocktailpeanut/dalai.git && cd dalai
Để khởi động và chạy Dalai với giao diện web, trước tiên, hãy tạo tệp Docker Compose:
docker-compose build
Docker Compose sẽ tải xuống và cài đặt Python 3.11, Trình quản lý phiên bản nút (NVM) và Node.js.
Ở giai đoạn 7/9, bản dựng sẽ bị đóng băng khi Docker Compose tải xuống Dalai. Đừng lo lắng: hãy kiểm tra việc sử dụng băng thông của bạn để trấn an bản thân rằng có điều gì đó đang diễn ra và mô phỏng quá trình tiến hóa của các sinh vật ảo trong thiết bị đầu cuối của bạn trong khi bạn chờ đợi.
Cuối cùng, bạn sẽ được đưa trở lại dấu nhắc lệnh.
Mô hình Dalai và LLaMa/Alpaca yêu cầu nhiều bộ nhớ để chạy. Mặc dù không có bất kỳ thông số kỹ thuật chính thức nào, nhưng một hướng dẫn sơ bộ tốt là 4GB cho mẫu 7B, 8GB cho mẫu 13B, 16GB cho mẫu 30B và 32GB cho mẫu 65B.
Các mẫu Alpaca tương đối nhỏ, với mẫu 13B đạt mức khiêm tốn 7,6GB, nhưng trọng lượng LLaMA có thể rất lớn: tải xuống 13B tương đương có dung lượng 60,21GB và mẫu 65B sẽ chiếm nửa terabyte hoành tráng trên ổ cứng của bạn đĩa.
Quyết định mô hình nào phù hợp nhất với tài nguyên của bạn và sử dụng lệnh sau để cài đặt mô hình đó:
docker-compose run dalai npx dalai alpaca install 13B
Hoặc:
docker-compose run dalai npx dalai llama install 13B
Có khả năng các mô hình được tải xuống qua Dalai có thể bị hỏng. Nếu đây là trường hợp, lấy chúng từ ôm mặt thay vì.
Sau khi bạn quay lại dấu nhắc lệnh, hãy hiển thị Docker Compose ở chế độ tách rời:
docker-compose up -d
Kiểm tra xem vùng chứa có chạy đúng không với:
docker-compose ps
Nếu mọi thứ hoạt động bình thường, hãy mở trình duyệt web và nhập máy chủ cục bộ:3000 trong thanh địa chỉ.
Vui vẻ với Mô hình ngôn ngữ lớn của riêng bạn trên Linux
Khi giao diện web mở ra, bạn sẽ thấy một hộp văn bản, trong đó bạn có thể viết lời nhắc của mình.
Viết lời nhắc hiệu quả rất khó và các nhà phát triển của Dalai đã cung cấp một loạt các mẫu một cách hữu ích để giúp bạn nhận được phản hồi hữu ích từ Dalai.
đó là Hộp thoại AI, chatbot, Mặc định, Chỉ dẫn, viết lại, DịchVà Tweet-tình cảm.
Như bạn mong đợi, Hộp thoại AI Và chatbot các mẫu được cấu trúc theo cách cho phép bạn tổ chức một cuộc Chat với LLM. Sự khác biệt chính giữa hai loại này là chatbot được cho là “rất thông minh”, trong khi AI-Dialog “hữu ích, tốt bụng, ngoan ngoãn, trung thực và biết giới hạn của chính mình”.
Tất nhiên, đây là “AI” của bạn và nếu điều đó làm bạn hài lòng, bạn có thể thay đổi lời nhắc để chatbot trở nên câm và các đặc điểm của hộp thoại AI là “tàn bạo” và “vô ích”. Tùy bạn đấy.
Chúng tôi đã thử nghiệm ra Dịch hoạt động bằng cách sao chép đoạn mở đầu của một câu chuyện tin tức của BBC và yêu cầu Đức Đạt Lai Lạt Ma dịch nó sang tiếng Tây Ban Nha. Bản dịch rất tốt và khi chúng ta chạy nó qua Google Dịch để chuyển lại sang tiếng Anh, nhận thấy rằng nó khá dễ đọc và lặp lại các sự kiện cũng như tình cảm của bản gốc.
Tương tự như vậy, các viết lại mẫu đưa văn bản vào phần mở đầu của một bài viết mới một cách thuyết phục.
Các Mặc định Và Chỉ dẫn lời nhắc được cấu trúc để giúp bạn đặt câu hỏi hoặc hướng dẫn trực tiếp cho Đức Đạt Lai Lạt Ma.
Độ chính xác trong phản hồi của Đạt Lai Lạt Ma sẽ khác nhau rất nhiều tùy thuộc vào kiểu máy bạn đang sử dụng. Mô hình 30B sẽ hữu ích hơn rất nhiều so với mô hình 7B. Nhưng ngay cả khi đó, bạn vẫn được nhắc nhở rằng LLM chỉ đơn giản là những hệ thống tinh vi để đoán từ tiếp theo trong câu.
Cả mẫu Alpaca 7B và 13B đều không thể cung cấp một bản tóm tắt chính xác dài 200 từ về truyện ngắn “Cat in the Rain” của Ernest Hemingway, và cả hai đều tạo nên những cốt truyện và chi tiết đầy thuyết phục về nội dung của câu chuyện.
Và trong khi Hộp thoại AI “hữu ích, tốt bụng, ngoan ngoãn, trung thực” “biết giới hạn của chính nó” và Chatbot “rất thông minh” sẽ chùn bước trước những lời nhắc gây tranh cãi, bạn có thể đưa ra Hướng dẫn thẳng thắn hoặc Yêu cầu mặc định cho Đức Đạt Lai Lạt Ma và nó sẽ viết bất cứ điều gì bạn thích – tuy nhiên bạn thích nó.
Mô hình ngôn ngữ lớn trên máy Linux của bạn là của bạn
Bằng cách chạy một mô hình ngôn ngữ lớn trên hộp Linux của riêng bạn, bạn không phải chịu sự giám sát hoặc rút dịch vụ. Bạn có thể sử dụng nó theo bất kỳ cách nào bạn thấy phù hợp mà không sợ phải chịu hậu quả do vi phạm chính sách nội dung của công ty.
Nếu tài nguyên máy tính của bạn ít, bạn thậm chí có thể chạy LLM cục bộ trên Raspberry Pi khiêm tốn.