Đã phát hành bảy mô hình GPT mã nguồn mở miễn phí

Công ty trí tuệ nhân tạo Cerebras tại Silicon Valley đã phát hành bảy mô hình GPT mã nguồn mở nhằm cung cấp một lựa chọn khác cho các hệ thống hiện có được kiểm soát chặt chẽ và độc quyền.

Các mô hình GPT mã nguồn mở miễn phí, bao gồm các trọng số và công thức huấn luyện, đã được Cerebras - một công ty cơ sở hạ tầng trí tuệ nhân tạo đặt trụ sở tại Silicon Valley - phát hành dưới giấy phép Apache 2.0 rất khoan dung.

Một mức độ nhất định, bảy mô hình GPT là một minh chứng cho khái niệm của máy tính siêu thông minh Cerebras Andromeda AI.

Hạ tầng Cerebras cho phép khách hàng của họ, như Jasper AI Copywriter, nhanh chóng huấn luyện các mô hình ngôn ngữ tùy chỉnh của riêng mình.

Một bài đăng trên blog Cerebras về công nghệ phần cứng đã chú ý:

"Chúng tôi đã huấn luyện tất cả các mô hình Cerebras-GPT trên một cụm 16x CS-2 Cerebras Wafer-Scale gọi là Andromeda."

"Cụm cho phép hoàn tất tất cả các thí nghiệm một cách nhanh chóng, mà không cần phải điều chỉnh hệ thống phân tán truyền thống và điều chỉnh song song mô hình trên cụm GPU."

"Quan trọng nhất, nó giúp nhà nghiên cứu của chúng tôi tập trung vào thiết kế của Học máy thay vì hệ thống phân tán. Chúng tôi tin rằng khả năng huấn luyện dễ dàng các mô hình lớn là cơ sở quan trọng đối với cộng đồng rộng lớn, vì vậy chúng tôi đã đưa Cụm Cerebras Wafer-Scale vào sử dụng trên môi trường đám mây thông qua Cerebras AI Model Studio."

Mô hình Cerebras GPT và tính minh bạch

Cerebras chỉ ra sự tập trung sở hữu công nghệ AI cho chỉ một số ít công ty là một lý do để tạo ra bảy mô hình GPT mã nguồn mở.

OpenAI, Meta và Deepmind giữ một lượng lớn thông tin về hệ thống của họ riêng tư và kiểm soát chặt chẽ, điều này giới hạn sự đổi mới chỉ vào những gì ba công ty này quyết định người khác có thể làm với dữ liệu của họ.

Liệu hệ thống đóng nguồn có phù hợp nhất cho sự đổi mới trong Trí tuệ Nhân tạo? Hay mã nguồn mở mới là tương lai?

Cerebras viết:

"Để LLM trở thành một công nghệ mở và dễ truy cập, chúng tôi tin rằng việc có truy cập vào các mô hình hiện đại nhất, có thể nhân bản và miễn phí bản quyền cho cả nghiên cứu và ứng dụng thương mại là quan trọng."

"Với mục tiêu đó, chúng tôi đã huấn luyện một nhóm các mô hình biến đổi sử dụng các kỹ thuật và cơ sở dữ liệu mở mới nhất, chúng tôi gọi là Cerebras-GPT."

"Các mô hình này là nhóm GPT đầu tiên được huấn luyện bằng công thức Chinchilla và được công bố thông qua giấy phép Apache 2.0."

Do đó, bảy mô hình này được phát hành trên Hugging Face và GitHub để khuyến khích nghiên cứu hơn thông qua việc truy cập công khai vào công nghệ trí tuệ nhân tạo.

Các mô hình này đã được huấn luyện bằng siêu máy tính trí tuệ nhân tạo Andromeda của Cerebras, một quá trình chỉ mất vài tuần để hoàn thành.

Cerebras-GPT hoàn toàn mở và minh bạch, khác với các mô hình GPT mới nhất từ OpenAI (GPT-4), Deepmind và Meta OPT.

OpenAI và DeepMind Chinchilla không cung cấp giấy phép để sử dụng các mô hình. Meta OPT chỉ cung cấp giấy phép phi thương mại.

OpenAI GPT-4 hoàn toàn không tiết lộ thông tin về dữ liệu huấn luyện của họ. Liệu họ có sử dụng dữ liệu từ Common Crawl không? Hay họ đã lục lọi trên Internet và tạo ra tập dữ liệu riêng của mình?

OpenAI đang giữ bí mật thông tin này (và nhiều thông tin khác), điều này trái ngược với phương pháp Cerebras-GPT hoàn toàn minh bạch.

Sau đây là tất cả công khai và minh bạch:

• Kiến trúc mô hình
• Dữ liệu huấn luyện
• Trọng số mô hình
• Điểm kiểm tra
• Tình trạng huấn luyện tối ưu tính toán (có)
• Giấy phép sử dụng: Giấy phép Apache 2.0

Có bảy phiên bản với dung lượng 111M, 256M, 590M, 1.3B, 2.7B, 6.7B, và 13B.

Đã được thông báo:

"Lần đầu tiên trong số các công ty phần cứng trí tuệ nhân tạo, các nhà nghiên cứu của Cerebras đã huấn luyện một chuỗi bảy mô hình GPT với 111 triệu, 256 triệu, 590 triệu, 1.3 tỷ, 2.7 tỷ, 6.7 tỷ và 13 tỷ tham số trên siêu máy tính trí tuệ nhân tạo Andromeda."

"Thường mất vài tháng để hoàn thành công việc này, nhưng nhờ vào tốc độ đáng kinh ngạc của hệ thống Cerebras CS-2, hợp thành Andromeda, và khả năng kiến trúc truyền dẫn trọng lượng của Cerebras để loại bỏ nhược điểm của tính toán phân tán."

"Kết quả này chứng minh rằng hệ thống của Cerebras có thể huấn luyện các công việc trí tuệ nhân tạo lớn và phức tạp nhất hiện nay."

"Đây là lần đầu tiên một bộ mô hình GPT, được huấn luyện bằng cách sử dụng các kỹ thuật hiệu suất huấn luyện tiên tiến, đã được công bố công khai."

"Các mô hình này được huấn luyện với độ chính xác cao nhất cho ngân sách tính toán nhất định (tức là hiệu quả huấn luyện bằng cách sử dụng công thức Chinchilla), vì vậy thời gian huấn luyện, chi phí huấn luyện và năng lượng tiêu thụ thấp hơn bất kỳ mô hình công khai hiện có nào."

Mã nguồn mở Trí tuệ nhân tạo

Tổ chức Mozilla, nhà sản xuất phần mềm mã nguồn mở Firefox, đã thành lập một công ty có tên là Mozilla.ai để xây dựng các hệ thống GPT và hệ thống gợi ý mã nguồn mở có độ tin cậy và tôn trọng quyền riêng tư.

Databricks cũng vừa mới phát hành một GPT Clone mã nguồn mở, gọi là Dolly nhằm mục tiêu phổ biến "phép màu của ChatGPT".

Ngoài bảy mô hình Cerebras GPT đó, một công ty khác có tên là Nomic AI đã phát hành GPT4All, một GPT mã nguồn mở có thể chạy trên laptop.

Phong trào trí tuệ nhân tạo mã nguồn mở đang ở giai đoạn mầm non nhưng đang thu hút sự chú ý.

Công nghệ GPT đang tạo ra những thay đổi to lớn trong các ngành công nghiệp và có thể, có lẽ, đóng góp mã nguồn mở có thể thay đổi diện mạo của các ngành công nghiệp đang thúc đẩy những thay đổi đó.

Nếu phong trào mã nguồn mở tiếp tục tiến bộ theo tốc độ này, chúng ta có thể sắp đứng trước một sự thay đổi trong sáng tạo trí tuệ nhân tạo mà nó không tập trung chỉ trong tay một số công ty.

Đọc thông báo chính thức:

Cerebras Systems phát hành bảy mô hình GPT mới được huấn luyện trên hệ thống quy mô wafer CS-2