GPT-3 khổng lồ của OpenAI gợi ý đến giới hạn của các mô hình ngôn ngữ trong trí tuệ nhân tạo

Cách đây một chút hơn một năm, OpenAI, một công ty trí tuệ nhân tạo có trụ sở tại San Francisco, đã gây sốc cho thế giới bằng cách cho thấy một bước nhảy đáng chú ý trong khả năng của máy tính để tạo ra các câu ngôn ngữ tự nhiên, và thậm chí giải quyết các câu hỏi, chẳng hạn như hoàn thành một câu, và hình thành các đoạn văn dài mà mọi người cảm thấy khá giống con người.

Công trình mới nhất từ nhóm đó cho thấy sự tiến bộ trong suy nghĩ của OpenAI ở một số khía cạnh. GPT-3, được gọi là sáng tạo mới nhất, đã xuất hiện vào tuần trước, với nhiều tính năng đáng chú ý hơn, do một số tác giả giống như phiên bản trước, bao gồm Alec Radford và Ilya Sutskever, cùng với một số đồng nghiệp bổ sung, bao gồm các nhà khoa học đến từ Đại học Johns Hopkins.

Hiện nay nó đã trở thành một mô hình ngôn ngữ khổng lồ thực sự, như được gọi là, ăn một lượng văn bản lớn gấp hai lần so với người tiền nhiệm của nó.

Nhưng trong triển khai lớn hơn càng tốt đó, nhóm OpenAI dường như đang tiếp cận một số điều sâu sắc hơn, giống như bác sĩ David Bowman tiếp cận giới hạn của sự hiểu biết cuối cùng trong bộ phim 2001.

Một sự nhận thức tương đối đáng chú ý được đề cập vào phần kết của bài báo 72 trang, Các Mô Hình Ngôn Ngữ là Những Người Học Có Số Lượng Dữ Kiện Rất Thấp, được đăng vào tuần trước trên máy chủ arXiv pre-print.

"Một giới hạn căn bản khác của phương pháp chung được miêu tả trong bài báo này - mở rộng mô hình tương tự ngôn ngữ LM, cho dù tự động tiến hoặc song hướng - là nó có thể cuối cùng sẽ gặp phải (hoặc có thể đã gặp phải) giới hạn của mục tiêu tiền huấn luyện", viết các tác giả.

Điều mà các tác giả đang nói là xây dựng một mạng nơ-ron chỉ dự đoán xác suất của từ tiếp theo trong bất kỳ câu hoặc cụm từ nào có thể có những giới hạn của nó. Chỉ việc làm cho nó mạnh mẽ hơn và nhồi nhét nó với nhiều văn bản hơn có thể không mang lại kết quả tốt hơn. Đó là một sự công nhận quan trọng trong một bài báo chủ yếu vinh danh thành tựu của việc áp dụng nhiều ngựa sức mạnh tính toán vào một vấn đề.

Để hiểu tại sao kết luận của các tác giả quan trọng đến như vậy, hãy xem xét cách chúng ta đã đến đây. Lịch sử công việc về ngôn ngữ của OpenAI đã là một phần của lịch sử của một quá trình phát triển liên tục của một loại phương pháp, với sự thành công ngày càng tăng khi công nghệ được làm to lớn hơn và lớn hơn và lớn hơn.

The original GPT, and GPT-2, are both adaptations of what's known as a Transformer, an invention pioneered at Google in 2017. The Transformer uses a function called attention to calculate the probability that a word will appear given surrounding words. OpenAI caused controversy a year ago when it said it would not release the source code to the biggest version of GPT-2, because, it said, that code could fall into the wrong hands and be abused to mislead people with things such as fake news.

Bài báo mới nâng GPT lên một tầm cao mới bằng cách làm cho nó càng lớn càng tốt. Phiên bản lớn nhất của GPT-2, phiên bản không được đăng tải dưới dạng mã nguồn, có 1,5 tỷ tham số. GPT-3 có 175 tỷ tham số. Một tham số là một tính toán trong mạng thần kinh mô phỏng việc áp dụng một trọng số lớn hơn hoặc nhỏ hơn cho một khía cạnh nào đó của dữ liệu, để tạo ra sự nổi bật lớn hoặc nhỏ hơn cho khía cạnh đó trong phép tính tổng thể của dữ liệu. Chính những trọng số này tạo nên hình dạng cho dữ liệu và cho phép mạng thần kinh có quan điểm đã học về dữ liệu đó.

Dần dần tăng trọng số đã đưa đến kết quả thử nghiệm ghi nhận ấn tượng của gia đình chương trình GPT, cùng như các biến thể lớn khác của Transformer như BERT của Google, kết quả luôn rất ấn tượng.

Đừng quan tâm đến việc nhiều người đã nhận thấy rằng không có mô hình ngôn ngữ nào thật sự có vẻ hiểu được ngôn ngữ một cách ý nghĩa. Chúng đạt điểm cao trong các bài kiểm tra, và điều đó có ý nghĩa gì đó.

Phiên bản mới nhất một lần nữa cho thấy tiến bộ định lượng. Giống như GPT-2 và các chương trình dựa trên Transformer khác, GPT-3 được huấn luyện trên tập dữ liệu Common Crawl, một bộ văn bản gần 1 ngàn tỷ từ được thu thập từ Web. "Tập dữ liệu và kích thước mô hình lớn hơn khoảng hai lần so với GPT-2," các tác giả viết.

GPT-3 với 175 tỷ tham số có khả năng đạt được điều mà tác giả mô tả là "meta-học". Meta-học có nghĩa là mạng nơ-ron GPT không được đào tạo lại để thực hiện một nhiệm vụ như hoàn thành câu. Cho một ví dụ về một nhiệm vụ, chẳng hạn như một câu chưa hoàn chỉnh, và sau đó là câu hoàn chỉnh, GPT-3 sẽ tiếp tục hoàn thành bất kỳ câu chưa hoàn chỉnh nào nó được đưa ra.

GPT-3 có khả năng học cách thực hiện một nhiệm vụ chỉ với một gợi ý duy nhất, tốt hơn, trong một số trường hợp, so với các phiên bản của Transformer đã được điều chỉnh lại nhằm mục đích cụ thể chỉ thực hiện nhiệm vụ đó. Do đó, GPT-3 là một chiến thắng về tính chung chung, toàn diện. Chỉ cần cung cấp cho nó một lượng lớn văn bản cho đến khi trọng số của nó đạt đến mức lý tưởng, nó có thể thực hiện tốt trên một số nhiệm vụ cụ thể mà không cần phát triển thêm.

Đó là nơi câu chuyện đến đến một sự kết thúc đầy ấn tượng trong bài báo mới. Sau khi liệt kê các kết quả ấn tượng của GPT-3 trên các nhiệm vụ ngôn ngữ từ việc hoàn thành câu đến suy luận số nguyên về các tuyên bố đến dịch giữa các ngôn ngữ, các tác giả lưu ý các hạn chế.

"Mặc dù có những cải tiến về số lượng và chất lượng đáng kể so với phiên bản trước đó là GPT-2, nhưng GPT-3 vẫn còn những điểm yếu đáng chú ý."

Những điểm yếu đó bao gồm việc không thể đạt được độ chính xác đáng kể trong việc gọi là NLI theo phản biện. NLI, hoặc suy luận ngôn ngữ tự nhiên, là một bài kiểm tra trong đó chương trình phải xác định quan hệ giữa hai câu. Các nhà nghiên cứu từ Facebook và Đại học Bắc Carolina đã giới thiệu một phiên bản phản biện, trong đó con người tạo ra cặp câu khó cho máy tính giải quyết.

GPT-3 chỉ làm "một chút tốt hơn ngẫu nhiên" đối với các nhiệm vụ như Adversarial NLI, theo tác giả viết. Xấu hơn, sau khi tăng cường sức mạnh xử lý của hệ thống lên 175 tỷ trọng số, tác giả cũng không chắc chắn lắm về lý do tại sao họ thất bại trong một số nhiệm vụ.

Đó là khi họ đến đến kết luận, trích dẫn ở trên, rằng có lẽ việc chỉ đơn giản là cung cấp một nguồn dữ liệu văn bản lớn cho một máy to lớn không phải là câu trả lời cuối cùng.

Một điều đáng ngạc nhiên hơn nữa là quan sát tiếp theo. Cả phương pháp cố gắng dự đoán điều gì sẽ xảy ra với ngôn ngữ có thể là phương pháp sai, như tác giả viết. Họ có thể đang nhắm vào chỗ sai.

"Với các mục tiêu tự học, việc xác định nhiệm vụ phụ thuộc vào việc ép buộc nhiệm vụ mong muốn thành một vấn đề dự đoán," họ viết, "trong khi cuối cùng, các hệ thống ngôn ngữ hữu ích (ví dụ như trợ lý ảo) có thể được coi là thực hiện hành động hướng mục tiêu thay vì chỉ đơn giản là dự đoán."

Nhà văn để lại cho lần sau để xác định cách họ sẽ tiếp cận hướng đi tiềm năng này khá hấp dẫn.

Mặc dù nhận thức rằng việc càng lớn càng không phải lúc nào cũng tốt nhất, kết quả cải thiện của GPT-3 trên nhiều nhiệm vụ có thể thúc đẩy, chứ không giảm đi, mong muốn có mạng nơ-ron càng lớn càng tốt. Với 175 tỷ tham số, GPT-3 đang là vua của các mạng nơ-ron lớn, ít nhất là trong lúc này. Một bài thuyết trình vào tháng 4 của công ty chip trí tuệ nhân tạo Tenstorrent đã miêu tả về các mạng nơ-ron tương lai với hơn một nghìn tỷ tham số.

Đối với một phần lớn cộng đồng học máy, việc xây dựng mô hình ngôn ngữ càng lớn càng tốt sẽ tiếp tục là trạng thái nghệ thuật.