Một bản sao ChatGPT mã nguồn mở mới - được gọi là Dolly

Open Source GPT Chat đã tiến xa hơn với việc phát hành Mô hình Ngôn ngữ Dolly Large (DLL) được tạo ra bởi công ty phần mềm doanh nghiệp Databricks.

Cái bản chat mới của ChatGPT được gọi là Dolly, đặt tên theo con cừu nổi tiếng cùng tên, con cừu đầu tiên được nhân bản.

Từ điển ngôn ngữ quy mô lớn mã nguồn mở

LLM Dolly là biểu hiện mới nhất của phong trào trí tuệ nhân tạo mã nguồn mở ngày càng phát triển, nhằm cung cấp quyền truy cập rộng hơn vào công nghệ để không bị các tập đoàn lớn độc quyền và kiểm soát.

Một trong những quan ngại thúc đẩy phong trào AI mã nguồn mở là doanh nghiệp có thể ngại việc giao lại dữ liệu nhạy cảm cho một bên thứ ba điều khiển công nghệ AI.

Dựa trên Phần mềm Mã nguồn Mở

Dolly được tạo ra từ một mô hình mã nguồn mở được tạo bởi Viện nghiên cứu EleutherAI phi lợi nhuận và mô hình Alpaca của Đại học Stanford. Trước đó, mô hình Alpaca được tạo ra từ mô hình LLaMA mã nguồn mở với 65 tỷ tham số do Meta tạo ra.

LLaMA, viết tắt của Large Language Model Meta AI, là một mô hình ngôn ngữ được đào tạo trên dữ liệu công khai.

Theo một bài viết của Weights & Biases, LLaMA có thể vượt trội hơn nhiều so với nhiều mô hình ngôn ngữ hàng đầu (OpenAI GPT-3, Gopher của Deep Mind và Chinchilla của DeepMind) mặc dù kích thước nhỏ hơn.

Tạo bộ dữ liệu tốt hơn

Một nguồn cảm hứng khác đến từ một bài báo nghiên cứu học thuật (SELF-INSTRUCT: Căn chỉnh Mô hình Ngôn ngữ với các Hướng dẫn Tự tạo PDF) đã nêu ra cách tạo dữ liệu đào tạo câu hỏi và câu trả lời tự động chất lượng cao hơn so với dữ liệu công cộng hạn chế.

Bài báo nghiên cứu Self-Instruct giải thích:

"...chúng tôi tổ chức một tập hợp các chỉ dẫn chuyên gia được viết cho các nhiệm vụ mới, và thông qua đánh giá của con người, chúng tôi cho thấy việc điều chỉnh GPT3 bằng cách SỰ-TỰ-HỌC cải thiện hiệu suất hơn việc sử dụng tập dữ liệu chỉ dẫn công cộng hiện có một cách đáng kể, chỉ để lại khoảng cách tuyệt đối 5% so với InstructGPT...

...Áp dụng phương pháp của chúng tôi cho GPT3 tiêu chuẩn, chúng tôi chứng minh sự cải thiện tuyệt đối 33% so với mô hình ban đầu trên SUPERNATURALINSTRUCTIONS, ngang bằng với hiệu suất của InstructGPT... mà đã được đào tạo với dữ liệu người dùng riêng tư và chú thích của con người."

Tầm quan trọng của Dolly là nó cho thấy một mô hình ngôn ngữ lớn hữu ích có thể được tạo ra với một tập dữ liệu nhỏ hơn nhưng chất lượng cao.

Databricks quan sát:

“Dolly hoạt động bằng cách lấy một mô hình mã nguồn mở có 6 tỷ tham số từ EleutherAI và chỉnh sửa một cách nhẹ nhàng để tạo ra khả năng theo lệnh như việc tạo ý tưởng và sinh văn bản mà mô hình gốc không có, sử dụng dữ liệu từ Alpaca.

...Chúng tôi cho thấy bất kỳ ai cũng có thể sử dụng một mô hình ngôn ngữ lớn (Large Language Model - LLM) từ nguồn mở có sẵn và chỉ trong 30 phút, trên một máy tính, sử dụng dữ liệu huấn luyện chất lượng cao, để biến nó trở thành một mô hình có khả năng nhận chỉ thị giống như ChatGPT có thể làm điều đó như thần.

Ngạc nhiên thay, việc tuân thủ chỉ thị dường như không đòi hỏi các mô hình mới nhất hay lớn nhất: mô hình của chúng tôi chỉ có 6 tỷ tham số, so với 175 tỷ của GPT-3."

Databricks Mã Nguồn Mở AI

Dolly được cho là làm cho trí tuệ nhân tạo dân chủ hơn. Đó là một phần của một phong trào đang phát triển mạnh mẽ mà mới đây đã được tổ chức phi lợi nhuận Mozilla tham gia với sự thành lập của Mozilla.ai. Mozilla là nhà phát hành trình duyệt Firefox và các phần mềm nguồn mở khác.