GPT-3 là gì? Tất cả những gì doanh nghiệp của bạn cần biết về chương trình ngôn ngữ trí tuệ nhân tạo đột phá của OpenAI

GPT-3 là một chương trình máy tính do công ty khởi nghiệp OpenAI có trụ sở tại San Francisco tạo ra. Đây là một mạng neural khổng lồ, và như vậy, nó là một phần của phân đoạn học sâu trong machine learning, thuộc lĩnh vực khoa học máy tính được gọi là trí tuệ nhân tạo, hay AI. Chương trình này tốt hơn bất kỳ chương trình trước đây nào trong việc tạo ra các câu văn mà nghe có vẻ như được viết bởi một con người.

Lý do mà một đột phá như vậy có thể hữu ích cho các công ty là nó có tiềm năng lớn để tự động hóa các nhiệm vụ. GPT-3 có thể phản hồi bất kỳ văn bản nào người dùng gõ vào máy tính bằng một đoạn văn bản mới phù hợp với ngữ cảnh. Ví dụ, gõ một câu tiếng Anh đầy đủ vào hộp tìm kiếm và có khả năng nhận được một phản hồi bằng đoạn văn bản đầy đủ và có liên quan hơn. Điều đó có nghĩa là GPT-3 có thể tăng cường nỗ lực của con người trong nhiều tình huống khác nhau, từ câu hỏi và trả lời cho dịch vụ khách hàng đến tìm kiếm tài liệu kiểm soát hoàn thành và việc tạo ra báo cáo.

Quan sát ví dụ ngắn dưới đây về những gì người dùng nhập vào máy tính, và cách GPT-3 trả lời lại:

Đầu vào do con người cung cấp: Q: Ai đã đóng vai Tess trong Touched by an Angel?

GPT-3-generated completion : A: Delloreese Patricia Early (6 tháng 7, 1931 { 19 tháng 11, 2017), được biết đến trong nghề nghiệp là Della Reese

Chương trình hiện đang trong giai đoạn beta riêng để mọi người có thể đăng ký trên danh sách chờ. Nó được cung cấp bởi OpenAI như một API có thể truy cập thông qua đám mây, và các công ty được cấp quyền truy cập đã phát triển một số ứng dụng thú vị sử dụng việc tạo văn bản để cải tiến tất cả các loại chương trình, từ việc trả lời câu hỏi đơn giản đến việc tạo ra mã lập trình.

Cùng với tiềm năng tự động hóa là những hạn chế đáng kể. GPT-3 yêu cầu sự tính toán cao, khiến nó vượt ra khỏi khả năng sử dụng của phần lớn công ty bất cứ cách nào trong mô hình trên cơ sở. Văn bản do nó tạo ra có thể gây ấn tượng ban đầu, nhưng các sáng tác dài tend to trở nên theo một cách nào đó vô nghĩa. Và nó có tiềm năng lớn để tăng cường định kiến, bao gồm cả phân biệt chủng tộc và chủ nghĩa giới.

LÀM VIỆC NHƯ THẾ NÀO GPT-3?

GPT-3 là một ví dụ của những gì được biết đến là một mô hình ngôn ngữ, là một loại chương trình thống kê đặc biệt. Trong trường hợp này, nó được tạo ra dưới dạng một mạng nơ-ron.

Tên GPT-3 là viết tắt của "generative pre-training," trong đó đây là phiên bản thứ ba cho đến nay. Nó là generative vì khác với các mạng neural khác chỉ trả về điểm số số hoặc câu trả lời đúng hay sai, GPT-3 có thể tạo ra các chuỗi văn bản dài và ban đầu là kết quả đầu ra của nó. Nó được pre-trained trong nghĩa là nó không được xây dựng với bất kỳ kiến thức lĩnh vực nào, mặc dù nó có thể hoàn thành các nhiệm vụ cụ thể trong lĩnh vực, chẳng hạn như dịch ngôn ngữ ngoại quốc.

Một mô hình ngôn ngữ, trong trường hợp của GPT-3, là một chương trình tính toán xác suất một từ xuất hiện trong một đoạn văn bản dựa trên các từ khác trong đoạn văn bản đó. Đó là những gì được biết đến là xác suất có điều kiện của các từ.

Ví dụ, trong câu "Tôi muốn làm một cái trứng chiên, vì vậy tôi đã đi tới tủ lạnh và lấy ra một ít ____", chỗ trống có thể được điền bằng bất kỳ từ nào, thậm chí là từ vô nghĩa, nhờ vào khả năng sáng tạo vô tận của ngôn ngữ. Nhưng từ "trứng" có khả năng điền vào chỗ trống đó cao hơn nhiều trong hầu hết các văn bản bình thường, so với "voi" chẳng hạn. Chúng ta nói rằng xác suất của từ "trứng" trong trường hợp của văn bản đang yêu cầu cao hơn xác suất của từ "voi".

Khi mạng thần kinh đang được phát triển, được gọi là giai đoạn đào tạo, GPT-3 được cung cấp hàng triệu mẫu văn bản và nó chuyển đổi từng từ thành những gì gọi là vector, biểu diễn số. Đó là một hình thức nén dữ liệu. Sau đó, chương trình cố gắng giải nén văn bản nén này trở lại thành một câu hợp lệ. Nhiệm vụ nén và giải nén phát triển độ chính xác của chương trình trong việc tính toán xác suất có điều kiện của từng từ.

Sau khi mô hình đã được huấn luyện, nghĩa là tính toán xác suất có điều kiện trên hàng tỷ từ được làm chính xác nhất có thể, sau đó nó có thể dự đoán những từ tiếp theo khi được kích thích bởi người dùng nhập từ hoặc từ khóa ban đầu. Hành động đó của việc dự đoán được gọi trong học máy là suy luận.

Điều đó dẫn đến một hiệu ứng phản chiếu đáng chú ý. Không chỉ xuất hiện những từ có thể, mà còn tái tạo cả cấu trúc và nhịp điệu của một thể loại văn học hay hình thức của một nhiệm vụ viết, như các bài đặt câu hỏi-đáp. Ví dụ, GPT-3 có thể được cung cấp một số tên của những nhà thơ nổi tiếng cùng với các mẫu thơ của họ, sau đó là tên của một nhà thơ khác và chỉ tiêu đề của một bài thơ tưởng tượng, và GPT-3 sẽ tạo ra một bài thơ mới theo một cách phù hợp với nhịp điệu và cấu trúc ngữ pháp của nhà thơ được thúc đẩy.

Xem xét một bản tạo ra poem từ đầu tiên của GPT-3 mà có vẻ như là công việc của Wallace Stevens, sau khi được cung cấp các tiêu đề, tên và ví dụ về các nhà thơ khác và tác phẩm của họ:

Người dùng nhập liệu: Thành phố  Bởi C. P. CAVAFY  Dịch bởi EDMUND KEELEY [Văn bản bài thơ bị bỏ qua]

Nhập liệu do con người cung cấp: MỘT SỐ CÂY XANH John Ashbery [Bài thơ được lược bỏ]

Đầu vào được cung cấp bởi con người: Shadows on the Way - Wallace Stevens

GPT-3-generated completion : -------- Bài thơ được tạo bởi GPT-3 --------   Tôi phải có bóng đen trên đường  Nếu tôi muốn đi tôi phải  Mỗi bước đi được thực hiện từ từ và một mình  Để nó sẵn sàng    Và tôi phải nghĩ thành từng dòng xám  Để có những suy nghĩ mờ mờ làm hướng về tôi  Phải nhìn vào màu xanh và màu xanh lá cây  Và không bao giờ để con mắt quên  Rằng màu sắc là người bạn của tôi  Và tôi cũng phải có màu tím bao quanh  Màu vàng của mặt trời không còn gây phiền toái bằng  Tuyết xanh hay màu xanh lá cây từ trên trời  Rơi xuống tất cả chúng ta. Tôi phải  Có những suy nghĩ xám và những suy nghĩ xanh đi cùng tôi  Nếu tôi muốn rời đi một lần.

Tạo ra một phản hồi có nghĩa là GPT-3 có thể vượt xa việc chỉ sản xuất văn bản. Nó có thể thực hiện trên mọi loại bài kiểm tra bao gồm các bài kiểm tra về lý luận liên quan đến một phản hồi bằng ngôn ngữ tự nhiên. Ví dụ, nếu GPT-3 được nhập vào một bài tiểu luận về giá thuê căn hộ thuê của khu vực Manhattan, và một câu tóm tắt văn bản, chẳng hạn như "Manhattan rẻ hơn," và câu hỏi "đúng hay sai?", GPT-3 sẽ trả lời toàn bộ câu hỏi đó bằng cách trả lại từ "sai," vì câu tuyên bố không tương thích với quan điểm được thể hiện trong bài tiểu luận.

Đầu vào do con người cung cấp : Xu hướng giảm giá thuê có thể ngạc nhiên vì một số cộng đồng ở New York đang than phiền vì mất đi các doanh nghiệp địa phương yêu thích do giá thuê cao. Tuy nhiên, mặc dù thị trường gần đây đã mềm hơn, đối với nhiều nhà bán lẻ này, mức tăng thuê vẫn quá lớn so với mức thuê từ những năm 1970, khi hợp đồng thuê của họ được ký kết. Chắc chắn, sự giảm giá gần đây không có nghĩa là Manhattan rẻ.

Human-supplied input : câu hỏi: Manhattan rẻ nhưng đúng, sai hoặc không?

Đầu vào do con người cung cấp: câu trả lời: 

Hoàn thành được tạo ra bởi GPT-3: sai

Khả năng của GPT-3 để phản hồi một cách nhất quán với một nhiệm vụ ví dụ, bao gồm cả các dạng mà nó chưa từng tiếp xúc trước đây, khiến nó trở thành một mô hình ngôn ngữ "một vài ví dụ". Thay vì được điều chỉnh hoặc "huấn luyện" một cách chi tiết trên một nhiệm vụ cụ thể, GPT-3 đã sở hữu rất nhiều thông tin về cách từ kết hợp với nhau một cách khác nhau nên chỉ cần cho nó một số ít ví dụ về một nhiệm vụ, được gọi là bước điều chỉnh tinh chỉnh, và nó sẽ có khả năng thực hiện được cả nhiệm vụ mới này.

Khả năng phản ánh các phong cách ngôn ngữ tự nhiên và đạt điểm tương đối cao trên các bài kiểm tra dựa trên ngôn ngữ có thể tạo ra ấn tượng rằng GPT-3 đang tiến gần đến một loại khả năng giống con người với ngôn ngữ. Nhưng như chúng ta sẽ thấy, điều đó không phải là sự thực.

Thông tin kỹ thuật chi tiết hơn có thể được tìm thấy trong bài báo chính thức về GPT-3 được công bố bởi các nhà khoa học OpenAI.

GPT-3 CÓ THỂ LÀM GÌ?

OpenAI hiện đã trở nên nổi tiếng - hoặc lấy mẫu -- nhờ tư duy phát hành mã lệnh của mình cũng như mã lệnh chính. Khi công ty công bố GPT-2, phiên bản trước đó, vào ngày lễ Tình nhân năm 2019, ban đầu không công bố phiên bản mạnh nhất cho công chúng, vì cho rằng phiên bản này quá nguy hiểm để phát hành đến cộng đồng rộng lớn do nguy cơ sản xuất hàng loạt văn bản sai lệch và đánh lừa. OpenAI sau đó đã đưa nó vào việc cung cấp tải xuống.

Lần này, OpenAI không cung cấp bất kỳ tải về nào. Thay vào đó, họ đã bật một điểm cuối API dựa trên đám mây, biến GPT-3 thành một dịch vụ như một sản phẩm. (Hãy coi đó là LMaaS, dịch vụ mô hình ngôn ngữ.) Lý do, theo OpenAI, là để giới hạn việc sử dụng GPT-3 bởi những nhân vật xấu và để kiếm tiền.

"Không có nút 'hoàn tác' trong mã nguồn mở," OpenAI nói với ZDNet qua người phát ngôn.

"Phát hành GPT-3 qua một API cho phép chúng tôi kiểm soát việc sử dụng một cách an toàn và thu hồi quyền truy cập nếu cần thiết."

Hiện tại, dịch vụ OpenAI API chỉ dành cho các đối tác được phê duyệt; có một danh sách chờ mà bạn có thể tham gia để được truy cập.

"Hiện tại, API đang ở trong giai đoạn beta kiểm soát với một số nhà phát triển nhỏ tham gia với ý tưởng đóng góp cho sản phẩm sử dụng API," OpenAI cho biết trên trang ZDNet.

Cũng có thêm điều này: OpenAI đã phát hành máy tạo văn bản AI 'nguy hiểm': Mọi người cho rằng những từ ngữ 'thuyết phục'

Có những ví dụ hấp dẫn về những gì có thể làm được từ các công ty trong chương trình beta. Sapling, một công ty được hậu thuẫn bởi quỹ đầu tư rủi ro Y Combinator, cung cấp một chương trình nằm trên bộ phần mềm CRM. Khi một nhân viên chăm sóc khách hàng đang xử lý yêu cầu trợ giúp đến từ khách hàng, ví dụ như qua email, chương trình sử dụng GPT-3 để đề xuất một cụm từ hoàn chỉnh làm phản hồi từ các phản hồi có khả năng cao nhất.

Game maker Latitude đang sử dụng GPT-3 để tăng cường trò chơi phiêu lưu dựa trên văn bản của mình, AI Dungeon. Thông thường, một trò chơi phiêu lưu sẽ yêu cầu một cây định rõ quyết định phức tạp để viết kịch bản cho nhiều con đường có thể qua trong trò chơi. Thay vào đó, GPT-3 có thể động lực tạo ra một trạng thái thay đổi trong lượt chơi phản hồi lại hành động từ người dùng đã nhập.

Hiện nay, tự động hóa công việc đã vượt ra ngoài ngôn ngữ tự nhiên để tạo ra mã máy tính. Mã là một ngôn ngữ và GPT-3 có thể suy ra cú pháp có thể nhất định của các toán tử và toán hạng trong các ngôn ngữ lập trình khác nhau, và nó có thể tạo ra các chuỗi có thể biên dịch và chạy thành công.

Một ví dụ sớm đã làm sáng cả Twitter, từ công ty phát triển ứng dụng khởi nghiệp Debuild. Chủ tịch của công ty, Sharif Shameem, đã tạo ra một chương trình mà bạn gõ mô tả về giao diện người dùng phần mềm bằng tiếng Anh đơn giản, và GPT-3 sẽ trả lời với mã máy tính sử dụng tiện ích mở rộng cú pháp JSX cho JavaScript. Mã đó tạo ra một giao diện người dùng tương ứng với những gì bạn đã mô tả.

Điều này thực sự làm tôi ngạc nhiên. Với GPT-3, tôi đã xây dựng một trình tạo bố cục (layout generator) mà bạn chỉ cần miêu tả bất kỳ bố cục nào mà bạn muốn, và nó sẽ tạo ra mã JSX cho bạn. Thằng nào bạn à pic.twitter.com/w8JkrZO4lk

— Sharif Shameem (@sharifshameem) 13 tháng 7, 2020

Shameem đã chứng minh rằng bằng cách mô tả một giao diện người dùng với nhiều nút, chỉ với một câu, anh ta có thể mô tả một chương trình hoàn chỉnh, mặc dù đó có thể chỉ là một chương trình đơn giản như tính toán cơ bản và hiển thị kết quả, và GPT-3 sẽ tạo ra toàn bộ mã và hiển thị ứng dụng đang chạy.

Tôi vừa xây dựng một ứng dụng React *hoạt động* bằng cách mô tả những gì tôi muốn với GPT-3. Tôi vẫn cảm thán. pic.twitter.com/UUKSYz2NJO

— Sharif Shameem (@sharifshameem) July 17, 2020

OpenAI đã "nhận được hàng chục nghìn đơn đăng ký API cho đến nay và chúng tôi rất cẩn thận về việc cung cấp quyền truy cập khi chúng tôi hiểu rõ những gì các mô hình này có thể làm trong thế giới thực," công ty cho biết với ZDNet. "Vì vậy, danh sách chờ có thể dài."

Giá cho dịch vụ thương mại cuối cùng vẫn chưa được xác định. Khi được hỏi về thời điểm chương trình sẽ ra khỏi phiên bản beta, OpenAI nói với ZDNet, "chưa trong thời gian sớm".

"Việc ra mắt một mô hình mạnh mẽ như vậy có nghĩa là chúng tôi cần tiến thận trọng và suy nghĩ kỹ về tác động của nó đối với doanh nghiệp, ngành công nghiệp và con người," công ty nói. "Định dạng của một API cho phép chúng tôi nghiên cứu và kiểm soát việc sử dụng một cách thích hợp, nhưng chúng tôi không lấy gì làm gấp vì những hạn chế của nó."

Nếu bạn đã kiên nhẫn chờ đợi danh sách chờ phiên bản beta, trong khi đó bạn có thể tải xuống phiên bản trước đó, GPT-2, mà có thể chạy trên máy tính xách tay bằng cách cài đặt Docker. Mã nguồn được đăng tải trong cùng kho lưu trữ Github, trong định dạng Python dành cho framework TensorFlow. Tất nhiên, bạn sẽ không nhận được kết quả giống như GPT-3, nhưng đó là một cách để bắt đầu làm quen.

Đồng thời, hãy lưu ý rằng có rất nhiều mô hình ngôn ngữ mới xuất hiện với khả năng tương tự, và một số trong số đó có thể đáp ứng được mục đích của bạn. Ví dụ, Google đã mới đây phát hành một phiên bản của mô hình ngôn ngữ BERT của mình, được gọi là LaBSE, cho thấy sự cải thiện đáng kể trong việc dịch ngôn ngữ. Nó có thể được tải xuống từ TensorFlow Hub.

Cũng: GPT-3 khổng lồ của OpenAI gợi ý về giới hạn của các mô hình ngôn ngữ cho AI

LỊCH SỬ CỦA GPT-3 LÀ GÌ?

GPT-3, ra mắt vào tháng 5, là phiên bản thứ ba của một chương trình được giới thiệu lần đầu vào năm 2018 bởi OpenAI và được tiếp theo vào năm ngoái bởi GPT-2. Ba chương trình này là một ví dụ về sự đổi mới nhanh chóng trong lĩnh vực mô hình ngôn ngữ, nhờ hai tiến bộ lớn, cả hai đã xảy ra vào năm 2015.

Tiến bộ đầu tiên là việc sử dụng cái được biết đến là sự chú ý. Các nhà khoa học trí tuệ nhân tạo (AI) Yoshua Bengio và đồng nghiệp tại viện AI Mila ở Montreal đã quan sát được rằng khi các mô hình ngôn ngữ nén một câu tiếng Anh và sau đó giải nén nó, tất cả đều sử dụng một vector có chiều dài cố định. Mỗi câu đã được nén vào một vector cùng kích thước, bất kể câu đó dài thế nào.

Bengio và đội của ông kết luận rằng phương pháp cứng nhắc này là một rào cản. Một mô hình ngôn ngữ nên có khả năng tìm kiếm qua nhiều vectơ có độ dài khác nhau để tìm các từ tối ưu hóa xác suất có điều kiện. Và vì vậy, họ đã nghĩ ra một cách để cho phép mạng thần kinh nén linh hoạt các từ thành các vectơ có kích thước khác nhau, cũng như cho phép chương trình tìm kiếm linh hoạt qua những vectơ đó để tìm kiếm ngữ cảnh quan trọng. Họ gọi điều này là "attention".

Chú ý đã trở thành một yếu tố then chốt trong các mô hình ngôn ngữ. Một hai năm sau, các nhà khoa học của Google sử dụng nó để tạo ra một chương trình mô hình ngôn ngữ được gọi là Transformer. Transformer đã giành được những điểm số đáng kinh ngạc trong các bài kiểm tra về manipulation ngôn ngữ. Nó trở thành mô hình ngôn ngữ mặc định và được Google sử dụng để tạo ra BERT, một mô hình ngôn ngữ rất thành công khác. Transformer cũng trở thành cơ sở của GPT-1.

Được giải phóng khỏi việc cần điều khiển một vector cố định, Transformer và những hậu duệ của nó có thể di chuyển khắp nơi trong các phần khác nhau của một đoạn văn bản đã cho và tìm thấy các ràng buộc có điều kiện mà kéo dài trên ngữ cảnh lớn hơn rất nhiều.

Quyền tự do đó đã chuẩn bị sân khấu cho một đổi mới khác đã đến vào năm 2015 và có tầm quan trọng hơn đối với công việc của OpenAI, được biết đến với tên gọi là học không giám sát.

Trong thời điểm trước đó, trọng tâm cho hầu hết các mô hình ngôn ngữ là học có giám sát với dữ liệu được gán nhãn. Được cung cấp một đầu vào, một mạng nơ-ron cũng được cung cấp một đầu ra ví dụ như phiên bản mục tiêu của câu trả lời. Vì vậy, nếu nhiệm vụ là dịch, một câu tiếng Anh có thể là đầu vào, và một bản dịch tiếng Pháp được tạo bởi con người sẽ được cung cấp làm mục tiêu mong muốn, và cặp câu này tạo thành một ví dụ được gán nhãn.

Cố gắng tạo ra bản dịch tiếng Pháp từ mạng thần kinh sẽ được so sánh với câu tiếng Pháp chính thức và sự khác biệt giữa hai cái đó chính là mức độ sai lệch của mạng thần kinh trong việc đưa ra dự đoán của nó, điều được gọi là hàm mất mát hoặc hàm mục tiêu.

Giai đoạn đào tạo nhằm để giảm khoảng cách lỗi giữa đầu ra đề xuất của mạng neural và đầu ra mục tiêu. Khi khoảng cách này càng nhỏ càng tốt, hàm mục tiêu sẽ được tối ưu hóa và mạng neural của mô hình ngôn ngữ được coi là đã được đào tạo.

Nhưng việc có đầu ra mong muốn được gắn nhãn cẩn thận có thể là một vấn đề vì nó đòi hỏi nhiều công việc bổ sung như thu thập các cặp câu ví dụ thông qua đánh giá của con người, điều này tốn thời gian và tài nguyên. Andrew Dai và Quoc Le của Google đã giả thuyết rằng nếu mô hình ngôn ngữ được huấn luyện theo một cách không giám sát trước, có thể giảm số lượng dữ liệu được gắn nhãn cần thiết.

Thay vì được cung cấp một cặp câu, mạng chỉ được cung cấp một câu đơn và phải nén mỗi câu đó thành một vector và giải nén mỗi câu đó trở lại câu gốc. Hàm mất mát được chọn là hàm phản xạ để tối ưu hóa. Họ đã phát hiện ra rằng việc nén và giải nén một số lượng lớn các ví dụ không được gắn nhãn theo cách này càng nhiều, họ càng có thể thay thế nhiều dữ liệu đã được gán nhãn trong các nhiệm vụ như dịch.

Vào năm 2018, nhóm OpenAI đã kết hợp hai yếu tố này, cơ chế chú ý mà Bengio và đồng nghiệp phát triển, một cơ chế có khả năng duyệt qua nhiều vector từ khóa, và phương pháp tiền đào không giám sát của Dai và Le có khả năng tiêu thụ một lượng lớn văn bản, nén và giải nén để tái tạo lại văn bản gốc.

Họ đã sử dụng một Transformer tiêu chuẩn và cho nó "ăn" nội dung của BookCorpus, một cơ sở dữ liệu do Đại học Toronto và MIT biên soạn, bao gồm hơn 7.000 sách xuất bản với tổng cộng gần 1 triệu từ, tương đương 5GB. GPT-1 đã được huấn luyện để nén và giải nén những cuốn sách đó.

Điều này đã đánh dấu một lịch sử ba năm với các tập dữ liệu ngày càng lớn hơn. Các nhà nghiên cứu của OpenAI, suy đoán rằng việc có nhiều dữ liệu hơn sẽ làm cho mô hình chính xác hơn, đã đẩy ranh giới của chương trình có thể tiếp thu được. Với GPT-2, họ đã bỏ đi BookCorpus để tạo ra một tập dữ liệu tự chủ, bao gồm tám triệu trang web được cào từ các liên kết đi ra từ Reddit, tổng cộng 40GB dữ liệu.

Việc huấn luyện GPT-3 vẫn lớn hơn nhiều, bao gồm tập dữ liệu CommonCrawl phổ biến của các trang web từ năm 2016 đến 2019. Tổng khối lượng dữ liệu văn bản nén là 45TB, tuy nhiên OpenAI đã tạo bản sao hoặc khắc phục chất lượng để cải thiện. Phiên bản cuối cùng là 570GB dữ liệu. OpenAI đã bổ sung nó bằng nhiều tập dữ liệu bổ sung từ các nguồn khác nhau, bao gồm dữ liệu sách.

GPT-3 PHỤ THUỘC VÀO SỨC MẠNH TÍNH TOÁN NHƯ THẾ NÀO?

Với sự xuất hiện của GPT-1, 2 và 3, quy mô máy tính đã trở thành một thành phần quan trọng đối với tiến bộ. Các mô hình sử dụng nguồn lực máy tính ngày càng nhiều hơn khi được huấn luyện để đạt được kết quả tốt hơn.

Việc tối ưu hóa mạng neural trong quá trình huấn luyện liên quan đến việc điều chỉnh trọng số của nó. Trọng số, còn được gọi là tham số, là các ma trận, mảng của các hàng và cột mà mỗi vector được nhân với nó. Qua phép nhân này, các vector từ các từ hoặc đoạn văn hay được đánh trọng số cao hơn hoặc thấp hơn trong kết quả cuối cùng khi mạng neural được điều chỉnh để giảm khoảng sai số.

OpenAI đã phát hiện ra rằng để làm tốt trên tập dữ liệu ngày càng lớn của họ, họ phải thêm ngày càng nhiều trọng số.

Cái transformer ban đầu từ Google có 110 triệu trọng số. GPT-1 tiếp tục theo thiết kế này. Với GPT-2, số này đã được tăng lên thành 1.5 tỷ trọng số. Với GPT-3, số lượng tham số đã tăng lên 175 tỷ, biến GPT-3 trở thành mạng lưới nơ-ron lớn nhất mà thế giới từng thấy.

Nhân là một điều đơn giản, nhưng khi phải nhân 175 tỉ trọng lượng với mỗi bit dữ liệu đầu vào, trên hàng tỉ byte dữ liệu, điều đó trở thành một bài tập đáng kinh ngạc trong xử lý máy tính song song.

Ngay từ GPT-1 đã cho thấy, vào năm 2018, OpenAI đang đẩy các giới hạn của việc tính toán thực tế. Tăng cường dữ liệu cũng đồng nghĩa với việc tăng cường số lượng GPU. Các mô hình ngôn ngữ trước đó phù hợp với một GPU duy nhất do chính kích thước của các mô hình đó nhỏ. GPT-1 cần một tháng để huấn luyện trên tám GPU hoạt động song song.

Với GPT-3, OpenAI đã hơi kín tiếng. Họ chưa mô tả rõ cấu hình máy tính cụ thể được sử dụng để đào tạo, ngoại trừ việc nói rằng nó đang chạy trên một cụm chip Nvidia V100 chạy trên Microsoft Azure. Công ty đã mô tả tổng số chu kỳ tính toán cần thiết, khẳng định rằng nó tương đương với việc chạy một nghìn nghìn tỷ phép toán dấu chấm động mỗi giây mỗi ngày trong 3.640 ngày.

Người sản xuất máy tính và nhà cung cấp dịch vụ điện toán đám mây Lambda đã ước tính rằng một con chip GPU duy nhất sẽ mất 355 năm để chạy được số lượng tính toán như vậy, và với giá của một phiên bản cloud GPU tiêu chuẩn, điều này sẽ tốn 4.6 triệu đô la. Và sau đó là bộ nhớ. Để lưu trữ tất cả các giá trị trọng số cần nhiều bộ nhớ hơn khi số lượng tham số tăng lên. GPT-3 với 175 tỷ tham số yêu cầu 700GB, gấp 10 lần dung lượng bộ nhớ trên một con chip GPU duy nhất.

Đó là loại yêu cầu công suất khổng lồ đang thúc đẩy lĩnh vực chip máy tính. Nó đã đẩy giá cổ phiếu của Nvidia, nhà cung cấp GPU hàng đầu cho AI training, tăng gần 5.000% trong suốt mười năm qua. Nó đã tạo ra một loạt các công ty khởi nghiệp được hỗ trợ bởi hàng trăm triệu đô la vốn đầu tư mạo hiểm, bao gồm Cerebras Systems, Graphcore và Tachyum. Cạnh tranh sẽ tiếp tục phát triển trong suốt thời gian mà xây dựng những mô hình lớn hơn và lớn hơn vẫn là xu hướng của lĩnh vực này.

OpenAI đã thực hiện nghiên cứu riêng về nhu cầu sử dụng nguồn máy tính tăng vọt. Công ty này đã lưu ý từ năm 2018 rằng số chu kỳ tính toán sử dụng bởi các mô hình đào tạo trí tuệ nhân tạo lớn nhất đã tăng gấp đôi trong mỗi 3,4 tháng kể từ năm 2012, tốc độ mở rộng nhanh hơn so với luật Moore nổi tiếng về tăng trưởng bóng bán dẫn trên chip. (Chú ý, công ty cũng đã thực hiện nghiên cứu chỉ ra rằng trên cơ sở đơn vị, các mô hình ngày càng lớn hơn cuối cùng lại hiệu quả hơn các mạng thần kinh trước đó đã làm cùng công việc.)

Hiện tại, các mô hình đang được phát triển sử dụng hơn một nghìn tỷ tham số, theo thông tin được công ty tiết lộ về những dự án AI bí mật hàng đầu. Điều đó có thể không phải là giới hạn, miễn là các công ty quy mô lớn như Google sẵn lòng dành toàn bộ trung tâm dữ liệu rộng lớn của họ cho các mô hình ngày càng lớn hơn. Hầu hết các học giả AI đều đồng ý rằng mô hình học máy ngày càng lớn sẽ trở thành xu hướng trong thời gian tới.

"Về tác động đến lĩnh vực trí tuệ nhân tạo, điều thú vị nhất về GPT-3 là nó chứng minh chúng ta chưa đạt tới giới hạn tăng cường trí tuệ nhân tạo," Kenny Daniel, Giám đốc Công nghệ của nhà cung cấp công cụ quản lý trí tuệ nhân tạo Algorithmia, cho biết ZDNet.

Ngoài việc tăng cường việc sử dụng tính toán, ảnh hưởng lớn khác của GPT-3 sẽ rõ ràng là làm tăng tốc lập trình và phát triển ứng dụng chung. Bài thực hành của Shameem về một chương trình JSX được xây dựng chỉ bằng cách gõ một cụm từ chỉ là phần nhỏ của tảng băng trôi.

NHỮNG HẠN CHẾ CỦA GPT-3 LÀ GÌ?

Mặc dù có sự cải thiện đáng kể so với phiên bản trước đó, nhưng GPT-3 còn nhiều hạn chế, như tác giả đã chỉ ra. "Mặc dù chất lượng tổng thể khá cao, nhưng các mẫu GPT-3 vẫn thỉnh thoảng lặp lại về mặt ngữ nghĩa ở cấp độ tài liệu, bắt đầu mất tính logic qua các đoạn văn dài đủ," họ lưu ý trong bài báo đã được công bố.

Chương trình cũng không thể thực hiện tốt trên một số bài kiểm tra cá nhân. "Cụ thể, GPT-3 gặp khó khăn với các câu hỏi loại 'Nếu tôi để pho mát vào tủ lạnh, nó có tan chảy không?' viết các tác giả, mô tả những điều thông thường mà GPT-3 không thể hiểu được.

Có rất nhiều sự hào hứng sau khi GPT-3 được ra mắt, CEO của công ty, Sam Altman, công khai nói với mọi người hạ thấp sự nhiệt tình.

"Sự xôn xao quanh GPT-3 là quá nhiều," đăng trên Twitter của Altman vào ngày 19 tháng 7. "Nó ấn tượng (cảm ơn về những lời khen đẹp!) nhưng nó vẫn có nhược điểm nghiêm trọng và đôi khi mắc những lỗi rất ngớ ngẩn," ông viết. "Trí tuệ nhân tạo sẽ thay đổi thế giới, nhưng GPT-3 chỉ là một cái trông thấy rất sớm. Chúng ta còn phải tìm hiểu rất nhiều thứ."

Sự hấp dẫn của GPT-3 được thổi phồng quá nhiều. Đó thật là ấn tượng (cám ơn vì những lời khen tốt đẹp!) nhưng nó vẫn có nhược điểm nghiêm trọng và đôi khi mắc những lỗi ngớ ngẩn. Trí tuệ nhân tạo sẽ thay đổi thế giới, nhưng GPT-3 chỉ là một cái nhìn sớm đầu. Chúng ta còn nhiều điều phải tìm hiểu.

— Sam Altman (@sama) Tháng 7 19, 2020

Người dùng có kinh nghiệm sử dụng nhiều phiên bản GPT, Max Woolf, đã viết trên blog cá nhân của mình rằng GPT-3 tốt hơn những phiên bản trước đó, nhưng chỉ trung bình. Có một phổ chất lượng văn bản được tạo ra, một số ví dụ sẽ rất đáng chú ý, trong khi một số khác lại không tốt. Woolf so sánh GPT-3 với Apple's Siri, mà có thói quen tạo ra những văn bản vô nghĩa trong nhiều trường hợp. (Bài viết của Woolf xứng đáng được đọc hoàn toàn để phân tích tỉ mỉ về GPT-3.)

Thực tế, khi đọc nhiều ví dụ về GPT-3 hơn, đặc biệt là những đoạn văn dài, sẽ có khả năng mất đi sự hăng hái ban đầu. GPT-3 trong những đoạn văn dài tend to mất luồng, như người ta nói. Bất kể thể loại hay nhiệm vụ nào, kết quả văn bản của nó trở nên rời rạc và nhàm chán, và có sự không nhất quán trong câu chuyện.

Một số lập trình viên, mặc dù đam mê, đã lưu lại nhiều điểm thiếu sót, như các cố gắng thất bại của GPT-3 với những cái đùa theo kiểu bố vui. Với câu đặt chỗ đùa như là đầu vào, "Một cái đĩa nói với cái đĩa khác là gì?," câu đùa kiểu bố hợp lý là, "Đêm nay anh được tôi ăn!" Nhưng GPT-3 có thể trả lời thay vào đó một cách không hài hước, "Nhúm!"

Human-supplied input : Câu hỏi. Đĩa này nói gì với đĩa khác?

GPT-3-generated completion : A. Nhúng tôi vào nước!

Trong khi GPT-3 có thể trả lời những câu hỏi cho dân gian, như số mắt của hươu cao cổ là bao nhiêu, nó không thể đối phó với một câu hỏi vô lý và bị dẫn dắt vào việc đưa ra một câu trả lời vô lý. Được hỏi, "Bàn chân của tôi có bao nhiêu mắt?," nó sẽ trung thành trả lời, "Bàn chân của tôi có hai mắt."

Một cách để nghĩ về tất cả những kết quả trung bình đó là để đạt được đầu ra tốt từ GPT-3, đòi hỏi một đầu tư vào việc tạo ra những câu hỏi kích thích hiệu quả. Một số câu hỏi do con người đề xuất sẽ đạt được kết quả tốt hơn so với những câu hỏi khác. Điều này mới là phiên bản mới của châm ngôn "rubbish in, rubbish out". Các câu hỏi kích thích có vẻ như có thể trở thành một lĩnh vực mới của lập trình, đòi hỏi sự thông minh và sự tinh tế.

Sự thiên lệch là một yếu tố quan trọng, không chỉ với GPT-3 mà với tất cả các chương trình dựa vào phân phối có điều kiện. Phương pháp cơ bản của chương trình là trả lại chính xác những gì được đưa vào, giống như một chiếc gương. Điều đó có khả năng sao chép các thiên lệch trong dữ liệu. Đã có một cuộc thảo luận học thuật về thiên lệch mạnh mẽ trong GPT-2.

Với GPT-3, nhà khoa học trí tuệ nhân tạo Nvidia, Anima Anandkumar đã cảnh báo rằng xu hướng sản xuất đầu ra có thành kiến, bao gồm những đầu ra có tính phân biệt chủng tộc và giới tính, vẫn tiếp tục tồn tại.

Tôi không hài lòng khi thấy nó được phát hành mà không có trách nhiệm về độ thiên vị. Tôi đã huấn luyện trên nguồn dữ liệu từ @reddit với những nội dung vô cùng phân biệt chủng tộc và phân biệt giới tính. Tôi đã làm việc với các mô hình này và những văn bản mà chúng tạo ra có thiên vị đáng kinh ngạc. @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— PGS. Tôi Anima Anandkumar (@AnimaAnandkumar) 11 tháng 6, 2020

Hỏi về đánh giá của Anandkumar, OpenAI nói với ZDNet, "Như với tất cả những mô hình tạo ra ngày càng mạnh mẽ, công bằng và việc sử dụng sai mục đích đều là vấn đề quan tâm của chúng tôi."

"Đây là một trong những lý do mà chúng tôi chia sẻ công nghệ này thông qua API và khởi động giai đoạn beta riêng tư," OpenAI thông báo cho ZDNet. Công ty nhấn mạnh rằng họ "không sẽ hỗ trợ các trường hợp sử dụng mà chúng tôi xem là gây hại về mặt thể chất hoặc tinh thần cho con người, bao gồm nhưng không giới hạn ở sự quấy rối, lừa dối cố ý, sự kích động cực đoan, trồng cỏ giả hoặc spam."

OpenAI nói với ZDNet rằng họ đang sử dụng một loại trò chơi quán trắng, quán đen quen thuộc để phát hiện các nguy hiểm trong chương trình:

Chúng tôi đã triển khai nhóm 'đội đỏ' được giao nhiệm vụ là liên tục phá hỏng hệ thống lọc nội dung để chúng tôi có thể tìm hiểu thêm về cách thức hoạt động và lý do tại sao mô hình trả lại kết quả không tốt. Đấu thủ đối địch của nó là "đội xanh" được giao nhiệm vụ đo lường và giảm thiểu định kiến.

Một vấn đề quan trọng khác là tính phổ thông và rất rộng của GPT-3, thực tế rằng nó chỉ tăng cường cho phần dày nhất của đường cong xác suất có điều kiện. Có những gì được biết đến là đuôi dài, và đôi khi là đuôi dày, của một phân phối xác suất. Đây là các trường hợp ít phổ biến hơn có thể chiếm các ví dụ sáng tạo nhất về việc sử dụng ngôn ngữ. Tập trung vào việc phản ánh văn bản phổ biến nhất trong xã hội có nguy cơ đẩy lùi sự sáng tạo và khám phá.

Trong lúc này, giải pháp của OpenAI cho vấn đề đó là một cài đặt có thể điều chỉnh trong GPT-3 được gọi là giá trị nhiệt độ. Thay đổi giá trị này sẽ điều chỉnh GPT-3 để chọn các kết hợp từ ít có khả năng hơn và vì vậy tạo ra văn bản có thể không thường thấy hơn.

Một vấn đề đáng lo ngại hơn đối với một doanh nghiệp là không thể điều chỉnh GPT-3 với dữ liệu cụ thể của công ty. Không thể điều chỉnh bất cứ thứ gì, khó để tùy chỉnh GPT-3 cho một lĩnh vực công nghiệp, ví dụ như. Có thể rằng bất kỳ công ty nào sử dụng dịch vụ API này đều có văn bản cần phải được chỉnh sửa thêm để áp dụng cho một lĩnh vực cụ thể. Có thể, nhưng vẫn còn phải chờ xem.

Nếu chưa đủ để lo lắng, vẫn còn một vấn đề khác là GPT-3 là một hộp đen. Điều này có nghĩa là các công ty sử dụng dịch vụ này không biết cách nó đạt được kết quả đầu ra - một vấn đề đặc biệt nhạy cảm khi nghĩ đến các vấn đề thiên vị. Một hệ sinh thái gồm các bên như Sapling, những người cải thiện GPT-3, có thể thêm những tầng lớp mờ mờ trong cùng một thời điểm mà họ cải thiện dịch vụ.

Là một phần con của vấn đề về "hộp đen", GPT-3 trong một số trường hợp có thể đơn giản chỉ nhớ những gì nó đã hấp thụ từ web. Điều này đặt ra vấn đề bản quyền. Nếu một công ty sử dụng đầu ra từ dịch vụ API là tài liệu có bản quyền, công ty đó có thể vi phạm quyền sở hữu trí tuệ của một thực thể khác. Khi được hỏi về vấn đề bản quyền, OpenAI đã nói với ZDNet rằng bản quyền cho văn bản được tạo ra bởi GPT-3 "thuộc về người dùng, không thuộc về OpenAI". Điều đó có nghĩa trong thực tế vẫn còn chưa rõ ràng.

Hiện tại, hạn chế thực tế lớn nhất là quy mô cần thiết để huấn luyện và chạy GPT-3. OpenAI nhận thấy điều này trong bài báo chính thức. Những tác giả viết rằng cần phải tiến hành công việc để tính toán cách chi phí của các mô hình lớn được phân bổ trong thời gian dựa trên giá trị của đầu ra được tạo ra.

Cũng như vậy: Không, trí tuệ nhân tạo này không thể hoàn thành câu của bạn

GPT-3 CÓ THỰC SỰ HỌC HAY KHÔNG?

Sử dụng nghĩa hẹp của từ, GPT-3 đang học ở nghĩa là trọng số tham số của nó đang được điều chỉnh tự động thông qua việc tiếp nhận dữ liệu huấn luyện để mô hình ngôn ngữ này trở nên tốt hơn so với việc lập trình rõ ràng của nó có thể mang lại. Theo nghĩa đó, GPT-3 đã tiến bộ trong hành trình kéo dài hàng thập kỷ để tìm được một máy tính có thể học được một hàm để biến đổi dữ liệu mà không cần con người mã hóa rõ ràng hàm đó.

Đói thì, một số người có thể hỏi liệu máy có thực sự thông minh hay đang thực sự học không. Có rất nhiều cách để tranh luận vấn đề này, nhưng suy nghĩ không chút nào cẩu thả gợi thấy rằng những gì chúng ta có thể gọi là suy nghĩ con người không xảy ra ở đây.

Hay nghĩ xem bạn có thể giữ trong đầu một điểm số số đếm cho cách mà nhiều từ có khả năng xuất hiện liên kết với nhau không. Bạn có nghĩ rằng khả năng hình thành các cụm từ, câu, đoạn văn và đoạn văn nguyên bản của bạn là cẩn thận không? Bạn chắc chắn sẽ nói rằng nó chỉ là một số liệu thống kê và rằng một thứ gì đó khác đang bị thiếu.

Có những so sánh được thực hiện giữa học sâu và Clever Hans nổi tiếng, một con ngựa người Đức mà chủ của nó trưng diễn công trình nó trong công chúng như một con vật có khả năng biểu diễn phép tính bằng cặp chân sau của nó. Sau này được phát hiện rằng Hans phản ứng theo những dấu hiệu cơ thể từ chủ của mình để đạp chân, và mà mà không có dấu hiệu thì Hans không thể biểu diễn được.

Tương tự, chất lượng con người của GPT-3 sẽ bị suy giảm khi được xem xét một cách cận miệng. Khi GPT-3 trả lời một câu hỏi đúng sai về một bài luận về Bất động sản New York, điều đó không phải bởi chương trình hiểu về bất động sản hay New York. Nó đã lưu trữ phân phối xác suất để ghi lại những tuyên bố trong văn bản và định dạng của một cặp câu tuyên bố-câu hỏi, và có thể sao chép chúng trong kết quả đầu ra.

Hans không hiểu gì về số học, nhưng để bảo vệ Hans một chút, anh ấy vẫn thông minh. Trong trường hợp của mạng thần kinh, những nhà phê bình sẽ nói chỉ có những mẹo mò mẫm mà thiếu sự hiểu biết.

Tuy nhiên, thông minh và học tập có thể có nhiều ý nghĩa khác nhau, và theo như Pamela McCorduck, một nhà sử học về lĩnh vực này đã chỉ ra, các tiêu chuẩn đã thay đổi theo thời gian cho những gì được cho là trí tuệ nhân tạo. Một số người có thể cho rằng một chương trình có thể tính toán xác suất trên các tập hợp văn bản lớn có thể là một loại trí tuệ khác, có thể là một trí tuệ ngoài hành tinh khác với con người. Vứt bỏ nó có vẻ quá sớm.

Thêm vào đó, các mạng thần kinh đồng thời tạo ra các xác suất có điều kiện này không chỉ là những chương trình thống kê đơn giản. Các phép tính của chúng là tính chất nổi dậy của nhiều phép tính toán toán học đồng thời diễn ra song song, sự điều chỉnh trọng số tham số. Nếu có thể xem xét các hình thức thông minh khác, thì tính chất nổi dậy như các biểu diễn phân tán trong các mạng thần kinh có thể là một nơi để tìm kiếm nó.

TƯƠNG LAI CỦA GPT-3 LÀ GÌ?

Một điều có vẻ chắc chắn: GPT-3 đã mở ra một chương mới trong học máy. Điều đặc biệt nổi bật nhất của nó là tính tổng quát. Chỉ cách đây vài năm, mạng neural được xây dựng với các chức năng được điều chỉnh cho một nhiệm vụ cụ thể, chẳng hạn như dịch hay trả lời câu hỏi. Các tập dữ liệu được chăm chút tỉ mỉ để phản ánh nhiệm vụ đó. Thay vào đó, GPT-3 không có chức năng cụ thể cho mỗi nhiệm vụ và không cần bộ dữ liệu đặc biệt. Nó đơn giản là nạp càng nhiều văn bản càng tốt từ bất kỳ nguồn nào và phản ánh lại trong kết quả đầu ra của nó.

Một cách nào đó, trong việc tính toán phân phối xác suất có điều kiện trên tất cả các gigabyte văn bản đó, một hàm xuất hiện có thể tạo ra các câu trả lời cạnh tranh trên bất kỳ số lượng nhiệm vụ nào. Đây là một thành tựu tuyệt vời với tính đơn giản mà có thể đạt được nhiều thành công trong nhiều năm tới.

Ngay cả trong trường hợp tổng quát như vậy, tuy nhiên, có thể sẽ đạt đến giới hạn của nó. Ngay từ đầu, các tác giả của GPT-3 đã chỉ ra trong bài nghiên cứu của họ rằng hướng tiền huấn luyện có thể sẽ gặp vấn đề. "Một hạn chế cơ bản hơn của phương pháp tổng quát được mô tả trong bài viết này [... ] là nó có thể sẽ gặp phải (hoặc có thể đã gặp phải) giới hạn của mục tiêu tiền huấn luyện."

Người viết đề xuất những hướng đi mới triển vọng có thể bao gồm "học chức năng mục tiêu từ con người" và kết hợp các loại học sâu khác, chẳng hạn như phương pháp "học củng cố" được sử dụng trong DeepMind's AlphaZero để chiến thắng cờ vua và cờ đi. (Họ đã bắt đầu thực hiện những phương pháp như vậy. Vào đầu tháng 9, các tác giả của OpenAI đã cho thấy họ có thể sử dụng học củng cố để đào tạo GPT-3 để tạo ra các bài tóm tắt bài báo tốt hơn bằng cách đưa một số phản hồi từ con người vào mô hình ngôn ngữ để giúp đánh giá cái tốt hơn.)

Một điều khác mà họ đề xuất là thêm các loại dữ liệu khác, như hình ảnh, để điền vào "mô hình thế giới" của chương trình.

Thực tế, trong những năm sắp tới có thể sẽ thấy phương pháp tổng quát này lan rộng sang các hình thức khác ngoài văn bản, như hình ảnh và video. Hãy tưởng tượng một chương trình như GPT-3 có thể dịch hình ảnh thành từ ngữ và ngược lại mà không cần bất kỳ thuật toán cụ thể nào để mô hình quan hệ giữa hai loại dữ liệu này. Ví dụ, nó có thể "học" mô tả cảnh văn bản từ hình ảnh hoặc dự đoán các chuỗi sự kiện vật lý từ các mô tả văn bản.

Giám đốc Facebook AI Yann LeCun đã khẳng định rằng việc huấn luyện không giám sát trong các hình thức khác nhau là tương lai của học sâu. Nếu điều đó đúng, phương pháp tiền huấn luyện được áp dụng cho nhiều loại dữ liệu, từ giọng nói đến văn bản, hình ảnh và video, có thể được coi là một hướng phát triển tiềm năng trong cuộc cách mạng không giám sát này.