Liệu ChatGPT có thể vượt qua Kỳ thi Luật sư?

ChatGPT và Kỳ thi Luật sư

Kỳ thi công chứng viên luật là một bài kiểm tra nghiêm ngặt đánh giá kiến thức và khả năng lý luận thông qua bài luận, bài tập thực hành và câu hỏi trắc nghiệm. Đây là một bài thi chuẩn được sử dụng bởi nhiều đơn vị tại Hoa Kỳ như một phần của quá trình công nhận công chứng viên luật. Kỳ thi này bao gồm ba phần đánh giá kiến thức của ứng viên về nguyên tắc pháp luật chung, khả năng áp dụng các nguyên tắc pháp luật vào các mô hình chi tiết cụ thể và khả năng hoàn thành các nhiệm vụ pháp lý.

Đề thi này được thiết kế để cho phép luật sư được cấp giấy phép tại nhiều tiểu bang mà không cần phải thi lại kỳ thi cấp bằng cho mỗi tiểu bang. Điểm số đậu được thiết lập bởi từng tiểu bang, và điểm thi có thể chuyển nhượng đến các tiểu bang khác, tuân theo các quy định và yêu cầu của từng tiểu bang.

GPT-3.5 và GPT-4, những mô hình ngôn ngữ lớn của OpenAI, mà ChatGPT được xây dựng trên đó, có khả năng thực hiện các nhiệm vụ khó khăn đòi hỏi kiến thức pháp lý sâu rộng, khả năng đọc hiểu và viết tốt, đến mức mà chúng có thể đáp ứng tiêu chuẩn của các luật sư con người trong hầu hết các khu vực tại Hoa Kỳ. Hiệp hội kiểm tra đến tư cách luật sư quốc gia, người đã tạo ra các phần câu hỏi trắc nghiệm, đã lưu ý rằng luật sư sở hữu các khả năng độc nhất vô nhị được đạt được thông qua giáo dục và thực hành, mà trí tuệ nhân tạo hiện tại chưa thể sánh bằng được.

ChatGPT đã đạt kết quả như thế nào trong Kỳ thi Luật sư?

Vào đầu năm nay, nghiên cứu được tiến hành bởi các giáo sư đến từ Illinois Tech và Michigan State College of Law đã chỉ ra rằng ChatGPT 3.5 đã đạt được tỷ lệ qua môn trong hai hạng mục của kỳ thi văn bằng Đa tiểu bang (MBE) và có kết quả tương tự như những người tham gia thi của con người trong một hạng mục khác, chứng tỏ khả năng hiểu biết tổng quan của nó về lĩnh vực pháp lý. Trong một nghiên cứu khác do các nhà nghiên cứu của OpenAI tiến hành, ChatGPT đã đạt kết quả tốt trong kỳ thi văn bằng và đạt được điểm số ở vị trí 90%, đạt gần 76% câu hỏi trắc nghiệm đúng, tăng từ 50% của ChatGPT, và vượt qua thành tích trung bình của người tham gia thi con người thêm hơn 7%.

ChatGPT có khả năng tạo ra các câu trả lời cho bài viết và bài kiểm tra trình độ biểu diễn chủ yếu liên quan và có liên kết logic. Ngưỡng điểm để đạt đủ điều kiện trong kỳ thi đặc biệt thay đổi từ bang này sang bang khác, và ở New York, để đậu, cần đạt điểm 266, tương đương với gần 50 phần trăm. Các kết quả của ChatGPT cho thấy rằng khả năng của các mô hình ngôn ngữ lớn mở rộng vào các nhiệm vụ phức tạp đòi hỏi kiến thức pháp luật đáng kể, khả năng hiểu và viết. Những mô hình này đáp ứng các tiêu chuẩn áp dụng cho các luật sư thực sự ở hầu hết các khả năng tư vấn trong nước Mỹ.

ChatGPT đã vượt qua kỳ thi luật không?

ChatGPT đã vượt qua Kỳ thi Đồng phục Viễn thông.

Giả sử điểm của môn thi luật tốt nhất là bài thi đã đạt 1% điểm số cao nhất

300 chỉ là khoảng giá trị ở vị trí percentil 90 cao nhất trong khi điểm số 330 ở khoảng vị trí percentil 1% cao nhất.