ChatGPT có thể viết mã. Bây giờ các nhà nghiên cứu nói rằng nó cũng giỏi trong việc sửa lỗi

Chatbot của OpenAI, ChatGPT, có thể sửa lỗi phần mềm rất tốt, nhưng lợi thế chính của nó so với các phương pháp và mô hình AI khác là khả năng độc đáo của nó để tương tác với con người, giúp nâng cao tính chính xác của một câu trả lời.

Nhóm nghiên cứu từ Đại học Johannes Gutenberg Mainz và Trường Đại học London pitted OpenAI's ChatGPT với "kỹ thuật sửa chữa chương trình tự động tiêu chuẩn" và hai phương pháp học sâu để sửa chữa chương trình: CoCoNut, từ các nhà nghiên cứu tại Đại học Waterloo, Canada; và Codex, mô hình dựa trên GPT-3 của OpenAI được sử dụng cho dịch vụ hoàn thành mã tự động cùng lúc sử dụng code GitHub's Copilot.

Cũng: Cách bắt đầu sử dụng ChatGPT

"Chúng tôi nhận thấy rằng hiệu suất sửa lỗi của ChatGPT cạnh tranh với các phương pháp học sâu thông thường như CoCoNut và Codex và đáng chú ý hơn so với kết quả được báo cáo cho các phương pháp sửa chữa chương trình tiêu chuẩn," các nhà nghiên cứu viết trong một bài báo mới trên arXiv, được phát hiện đầu tiên bởi New Scientist.

Những chatbot AI tốt nhất: ChatGPT và những lựa chọn thú vị khác để thử

Các chatbot và công cụ viết tự động có thể giúp giảm bớt công việc của bạn bằng cách viết email, bài luận và thậm chí giải trí bài toán toán học. Họ sử dụng trí tuệ nhân tạo để tạo ra văn bản hoặc trả lời câu hỏi dựa trên đầu vào của người dùng. ChatGPT là một ví dụ phổ biến, nhưng cũng có nhiều chatbot đáng chú ý khác.

Đọc ngay

Việc sử dụng ChatGPT để giải quyết các vấn đề lập trình không phải là mới, nhưng các nhà nghiên cứu nhấn mạnh rằng khả năng độc đáo của nó trong việc trò chuyện với con người mang lại lợi thế tiềm năng so với các phương pháp và mô hình khác.

Các nhà nghiên cứu đã kiểm tra hiệu năng của ChatGPT bằng cách sử dụng bộ kiểm tra sửa lỗi QuixBugs. Hệ thống sửa lỗi tự động (APR) dường như gặp khó khăn vì chúng được phát triển trước năm 2018.

ChatGPT được xây dựng dựa trên kiến trúc transformer, mà Tổng giám đốc trí tuệ nhân tạo của Meta Yann LeCun đã nhấn mạnh tuần này là được Google phát triển. Codex và CodeBERT từ Microsoft Research, cũng như phiên bản trước đó BERT từ Google cũng đều dựa trên phương pháp transformer của Google.

OpenAI đưa ra những điểm nổi bật về khả năng trò chuyện của ChatGPT trong các ví dụ để sửa lỗi mã, nơi mà nó có thể yêcầu làm rõ và nhận gợi ý từ một người để tìm ra câu trả lời tốt hơn. Mô hình ngôn ngữ lớn phía sau ChatGPT (GPT-3 và GPT 3.5) đã được huấn luyện bằng Học tăng cường từ phản hồi của con người (RLHF).

Trong khi khả năng thảo luận của ChatGPT giúp nó đưa ra các câu trả lời chính xác hơn, chất lượng của các gợi ý của nó vẫn chưa rõ ràng, các nhà nghiên cứu lưu ý. Đó là lý do tại sao họ muốn đánh giá hiệu suất sửa lỗi của ChatGPT.

Các nhà nghiên cứu đã kiểm tra ChatGPT với 40 vấn đề chỉ sử dụng Python từ QuixBugs, sau đó kiểm tra thủ công xem giải pháp được đề xuất có đúng hay không. Họ đã lặp lại truy vấn này bốn lần vì độ tin cậy của câu trả lời từ ChatGPT có một phần do yếu tố ngẫu nhiên, như một giáo sư tại Wharton đã khám phá khi đưa chatbot qua một kỳ thi giống như MBA.

ChatGPT đã giải quyết được 19 trong số 40 lỗi Python, đặt nó ngang hàng với CoCoNut (19) và Codex (21). Nhưng phương pháp APR tiêu chuẩn chỉ giải quyết được bảy trong số các vấn đề đó.

Người nghiên cứu đã phát hiện ra rằng tỷ lệ thành công của ChatGPT với các tương tác tiếp theo đạt 77.5%.

Tuy nhiên, tác động đối với các nhà phát triển về mặt công sức và năng suất rất mơ hồ. Gần đây, Stack Overflow đã cấm trả lời được tạo bởi ChatGPT vì chúng có chất lượng thấp nhưng nghe có vẻ hợp lý. Giáo sư tại Wharton phát hiện ra rằng ChatGPT có thể là một người bạn đồng hành tuyệt vời cho sinh viên MBA, vì nó có thể trở thành một "cố vấn thông minh" - người tạo ra những câu trả lời tinh tế nhưng thường sai, từ đó thúc đẩy tư duy phản biện.

"Điều này cho thấy đầu vào từ con người có thể giúp đỡ rất nhiều cho một hệ thống APR tự động, với ChatGPT cung cấp phương tiện để thực hiện điều đó," nhà nghiên cứu viết.

"Mặc dù có hiệu suất tuyệt vời, câu hỏi đặt ra là liệu chi phí tâm lý cần thiết để xác minh câu trả lời của ChatGPT có vượt qua được những lợi ích mà ChatGPT mang lại hay không."