Máy dò AI có thể cứu chúng ta khỏi ChatGPT không? Tôi đã thử 3 công cụ trực tuyến để tìm hiểu

Đây là bài viết thứ hai trong loạt bài đang trở thành khám phá các vấn đề về văn bản do AI tạo ra.

Trong phần này, tôi và người bạn AI của tôi đang xem xét câu hỏi liệu có thể chống lại hành vi đạo văn do AI tạo ra hay không và điều đó có thể hoạt động như thế nào.

Ngoài ra: ChatGPT là gì và tại sao nó lại quan trọng? Đây là những gì bạn cần biết

Tuy nhiên, trước khi tôi tiếp tục, chúng ta cần nói về khái niệm đạo văn và nó liên quan như thế nào đến vấn đề này. Webster's định nghĩa "đạo văn" là "ăn cắp và biến (ý tưởng hoặc từ ngữ của người khác) thành của mình: sử dụng (sản phẩm của người khác) mà không ghi nguồn."

Điều này phù hợp với nội dung do AI tạo ra. Mặc dù ai đó sử dụng công cụ AI như Notion AI hoặc ChatGPT không ăn cắp nội dung, nhưng nếu người đó không công nhận các từ đó là do AI và tuyên bố chúng là của mình, thì điều đó vẫn đáp ứng định nghĩa từ điển về đạo văn.

ZDNET đề xuất

ChatGPT - Người viết AI tốt nhất

Chatbot AI tốt nhất: ChatGPT và các lựa chọn thay thế thú vị khác để thử

Các chatbot AI và người viết có thể giúp giảm bớt khối lượng công việc của bạn bằng cách viết email, viết luận và thậm chí làm toán. Họ sử dụng trí tuệ nhân tạo để tạo văn bản hoặc trả lời các truy vấn dựa trên đầu vào của người dùng. ChatGPT là một ví dụ phổ biến, nhưng cũng có những chatbot đáng chú ý khác.

Đọc ngay

Trong bài viết thử nghiệm này, tôi đã nhờ ChatGPT trợ giúp. Lời nói của tôi là văn bản bình thường và in đậm. Các từ của AI được in nghiêng. Tôi cũng sẽ sử dụng ba công cụ phát hiện đạo văn ChatGPT trực tuyến (tôi sẽ mô tả chi tiết hơn bên dưới). Sau mỗi phần do AI tạo, tôi sẽ hiển thị kết quả của các máy dò. Ở phần cuối của bài viết, chúng ta sẽ xem xét tổng thể các trình phát hiện hoạt động tốt như thế nào.

Đây là kết quả cho văn bản trên, mà tôi đã tự viết:

GPT-2 Đầu Ra Dò: 99.98% thực
Trình phát hiện nội dung AI của nhà văn: 100% nội dung do con người tạo ra. Tuyệt vời!
Nội dung ở quy mô Phát hiện nội dung AI: 100% điểm nội dung của con người. Trông rất tuyệt!

Với điều đó, chúng ta hãy bắt đầu.

Giải thích tại sao ChatGPT có thể là một vấn đề thực sự đối với giáo viên và biên tập viên khi nói đến đạo văn

ChatGPT là một biến thể của mô hình ngôn ngữ GPT (Generative Pre-training Transformer) do OpenAI phát triển. Nó được thiết kế để tạo văn bản giống con người bằng cách dự đoán từ hoặc cụm từ tiếp theo trong một chuỗi đầu vào nhất định. Mặc dù ChatGPT có thể là một công cụ hữu ích để tạo văn bản và trả lời lời nhắc, nhưng nó cũng có thể là một vấn đề đối với giáo viên và biên tập viên khi liên quan đến đạo văn.

Một trong những lý do chính khiến ChatGPT có thể là một vấn đề đối với giáo viên và biên tập viên là nó có thể tạo ra văn bản rất giống với văn bản của người viết thực. Điều này có nghĩa là sinh viên hoặc các cá nhân khác có khả năng có thể sử dụng ChatGPT để tạo văn bản mà sau đó họ có thể gửi dưới dạng tác phẩm của chính mình, do đó phạm tội đạo văn.

Ngoài ra: Người trợ giúp viết Notion AI có thể viết bài này không?

Đối với giáo viên và biên tập viên, việc phát hiện xem một đoạn văn bản nhất định được tạo bởi ChatGPT hay do con người viết có thể rất khó khăn vì văn bản được tạo có thể không chứa bất kỳ lỗi hoặc điểm khác biệt rõ ràng nào có thể tiết lộ nguồn gốc giả tạo của nó. Điều này có thể gây khó khăn cho giáo viên và biên tập viên trong việc xác định và ngăn chặn hành vi đạo văn, vì họ có thể không phân biệt được một đoạn văn bản nhất định là bản gốc hay được sao chép từ một nguồn khác.

Nhìn chung, ChatGPT và các mô hình ngôn ngữ tương tự khác có thể là một vấn đề đối với giáo viên và biên tập viên khi nói đến đạo văn vì chúng có thể tạo ra văn bản khó phân biệt với văn bản do con người viết, khiến học sinh và các cá nhân khác dễ dàng thực hiện hành vi đạo văn mà không bị phát hiện. phát hiện.

Bộ dò đầu ra GPT-2: thực 99,69%
Trình phát hiện nội dung AI của nhà văn: 97% nội dung do con người tạo ra. Tuyệt vời!
Nội dung ở quy mô Phát hiện nội dung AI: 87% điểm nội dung con người. Trông được!

Hãy nhớ rằng, văn bản in nghiêng được tạo bởi AI.

Chỉ cho tôi ít nhất ba cách để tôi có thể phát hiện ChatGPT đã được sử dụng để tạo một đoạn văn bản

Có một số cách mà bạn có thể phát hiện xem ChatGPT hoặc mô hình ngôn ngữ khác có được sử dụng để tạo một đoạn văn bản hay không. Dưới đây là ba cách tiếp cận tiềm năng mà bạn có thể sử dụng:

Tìm kiếm các mẫu lặp lại hoặc bất thường trong văn bản: Một cách để phát hiện xem một mô hình ngôn ngữ có được sử dụng để tạo ra một đoạn văn bản hay không là tìm kiếm các mẫu lặp lại hoặc bất thường trong văn bản. Ví dụ: các mô hình ngôn ngữ có thể lặp lại một số cụm từ hoặc tổ hợp từ nhất định hoặc sử dụng cấu trúc câu bất thường hoặc không nhất quán.
Kiểm tra tính nguyên bản: Một cách khác để phát hiện xem mô hình ngôn ngữ có được sử dụng để tạo ra một đoạn văn bản hay không là kiểm tra tính nguyên bản trong văn bản. Nếu một đoạn văn bản có vẻ như được sao chép từ một nguồn khác hoặc nếu nó chứa thông tin được phổ biến rộng rãi trên internet hoặc các nguồn khác, thì đó có thể là dấu hiệu cho thấy nó được tạo ra bởi một mô hình ngôn ngữ.
Sử dụng công cụ kiểm tra đạo văn: Cuối cùng, bạn có thể sử dụng công cụ kiểm tra đạo văn để kiểm tra xem một đoạn văn bản có vẻ như được sao chép từ một nguồn khác hay không. Mặc dù trình kiểm tra đạo văn có thể không xác định được chắc chắn liệu mô hình ngôn ngữ có được sử dụng để tạo ra một đoạn văn bản hay không, nhưng nó có thể giúp bạn xác định các trường hợp sao chép hoặc diễn giải từ các nguồn khác.
Lưu ý khi câu trả lời rõ ràng là sai: Tôi đã nói về điều này trong bài đánh giá Notion AI của mình, trong đó tôi đánh dấu một số văn bản mà AI đã viết với vẻ có thẩm quyền, nhưng điều đó hoàn toàn sai. Nếu một sinh viên hoặc nhà văn không có toàn quyền kiểm soát chủ đề đang được thảo luận, họ có thể không phát hiện ra những điểm không chính xác và chỉ để chúng trong phản hồi do AI tạo ra. Tất nhiên, những câu sai không chỉ là mục đích của một công cụ viết AI. Ví dụ, nhiều blogger và người bình luận chỉ đơn giản lặp lại các tuyên bố của các blogger khác, tạo ra một buồng phản hồi về "sự thật sai lệch" hoàn toàn, cho thấy rằng mặc dù trí thông minh có thể là nhân tạo, nhưng ngu ngốc là một đặc điểm chung.

Hãy nhớ rằng có thể khó xác định chắc chắn liệu một mô hình ngôn ngữ có được sử dụng để tạo ra một đoạn văn bản hay không và những phương pháp này có thể không phải lúc nào cũng hiệu quả. Tuy nhiên, chúng có thể là công cụ hữu ích giúp bạn xác định các trường hợp tiềm năng của văn bản do mô hình ngôn ngữ tạo ra.

Trong bộ kiểm tra này, chỉ nội dung in nghiêng ở trên được chạy qua bộ kiểm tra.

Máy dò đầu ra GPT-2: giả 99,98%
Trình phát hiện nội dung AI của nhà văn: [ không có kết quả ]
Nội dung ở quy mô Phát hiện nội dung AI: 0% điểm nội dung của con người. Rõ ràng là AI

Liệt kê ba công cụ kiểm tra đạo văn có thể phát hiện văn bản ChatGPT

Sự đổi mới

Tôi đã dùng thử Apple Vision Pro và nó vượt xa những gì tôi mong đợi
Thiết bị liên lạc vệ tinh nhỏ bé này có đầy đủ các tính năng và sự an tâm
Cách sử dụng ChatGPT: Mọi thứ bạn cần biết
Đây là 5 công cụ AI yêu thích của tôi cho công việc

Điều đáng chú ý là hiện tại không có trình kiểm tra đạo văn nào được thiết kế đặc biệt để phát hiện văn bản do ChatGPT hoặc các mô hình ngôn ngữ khác tạo ra. Mặc dù một số công cụ kiểm tra đạo văn có thể xác định một số đặc điểm nhất định của văn bản do mô hình ngôn ngữ tạo ra mà có thể chỉ ra nguồn gốc nhân tạo của nó, nhưng không có gì đảm bảo rằng họ sẽ có thể xác định chắc chắn liệu một đoạn văn bản có được tạo ra bởi mô hình ngôn ngữ hay không.

Như đã nói, đây là ba công cụ kiểm tra đạo văn mà bạn có thể cân nhắc sử dụng để giúp xác định các trường hợp tiềm năng của văn bản do mô hình ngôn ngữ tạo ra:

Turnitin: Turnitin là một công cụ kiểm tra đạo văn phổ biến được các trường học và đại học sử dụng rộng rãi. Nó so sánh một đoạn văn bản với cơ sở dữ liệu của các văn bản khác để xác định các trường hợp sao chép hoặc diễn giải. Mặc dù không thể xác định chắc chắn liệu một đoạn văn bản có được tạo bởi một mô hình ngôn ngữ hay không, nhưng nó có khả năng xác định các đặc điểm nhất định của văn bản do mô hình ngôn ngữ tạo ra có thể chỉ ra nguồn gốc nhân tạo của nó.
PlagScan: PlagScan là một công cụ kiểm tra đạo văn khác so sánh một đoạn văn bản với cơ sở dữ liệu của các văn bản khác để xác định các trường hợp sao chép hoặc diễn giải. Giống như Turnitin, nó có thể xác định một số đặc điểm nhất định của văn bản do mô hình ngôn ngữ tạo ra có thể cho biết nguồn gốc nhân tạo của nó, nhưng nó không được thiết kế đặc biệt để phát hiện văn bản do mô hình ngôn ngữ tạo ra.
Copyleaks: Copyleaks là công cụ kiểm tra đạo văn sử dụng các thuật toán học máy tiên tiến để quét một đoạn văn bản và so sánh nó với cơ sở dữ liệu gồm các văn bản khác để xác định các trường hợp sao chép hoặc diễn giải. Mặc dù nó có thể xác định các đặc điểm nhất định của văn bản do mô hình ngôn ngữ tạo ra, nhưng nó không được thiết kế đặc biệt để phát hiện văn bản do mô hình ngôn ngữ tạo ra.

Cần lưu ý rằng không có công cụ kiểm tra đạo văn nào hoàn toàn có thể đánh lừa được và luôn có khả năng một đoạn văn bản do mô hình ngôn ngữ tạo ra có thể thoát khỏi sự phát hiện. Do đó, điều quan trọng là sử dụng công cụ kiểm tra đạo văn như một phần của chiến lược lớn hơn để phát hiện và ngăn chặn đạo văn.

Bộ dò đầu ra GPT-2: thực 99,62%
Trình phát hiện nội dung AI của nhà văn: [ không có kết quả ]
Nội dung ở quy mô Phát hiện nội dung AI: 86% điểm nội dung con người. Trông được!

Công cụ kiểm tra đạo văn AI trực tuyến

Hầu hết các công cụ phát hiện đạo văn được sử dụng để so sánh bài viết với một kho văn bản khác. Ví dụ: khi một học sinh nộp bài luận, một sản phẩm như Turnitin sẽ quét bài luận đã nộp với một thư viện khổng lồ gồm các bài luận khác trong cơ sở dữ liệu của nó, cũng như đối chiếu với các tài liệu và văn bản khác trên internet để xác định xem bài luận đã nộp đã chứa- nội dung bằng văn bản.

Nhưng các công cụ viết AI tạo ra nội dung gốc, ít nhất là trên lý thuyết. Vâng, họ xây dựng nội dung của mình từ bất cứ thứ gì họ đã được đào tạo, nhưng những từ ngữ thực tế mà họ xây dựng có phần độc đáo cho mỗi tác phẩm.

Ngoài ra: Mục tiêu thực sự của AI có thể không còn là trí thông minh

Do đó, các công cụ kiểm tra đạo văn được đề cập ở trên có thể sẽ không hoạt động, bởi vì nội dung do AI tạo ra có thể không tồn tại trong bài báo của một sinh viên khác.

Vì vậy, tôi đã lên Google và tìm kiếm các công cụ phát hiện được thiết kế đặc biệt để tìm kiếm các dấu hiệu nhận biết về nội dung do AI điều khiển. Tôi tìm thấy ba. Đối với nội dung thử nghiệm được hiển thị trong ảnh chụp màn hình bên dưới, tôi đã hỏi ChatGPT điều này: "Star Trek có tốt hơn Star Wars không? Hãy biện minh và giải thích". Câu trả lời của nó không tệ chút nào và tôi đã đưa câu trả lời đó cho ba người thử nghiệm.

GPT-2 Đầu Ra Dò: 99.98% thực
Trình phát hiện nội dung AI của nhà văn: 100% nội dung do con người tạo ra. Tuyệt vời!
Nội dung ở quy mô Phát hiện nội dung AI: 100% điểm nội dung của con người. Trông rất tuyệt!

Đầu dò đầu ra GPT-2 (Độ chính xác 66%)

Công cụ đầu tiên này được xây dựng bằng trung tâm máy học do công ty AI Hugging Face có trụ sở tại New York quản lý. Mặc dù công ty đã nhận được 40 triệu đô la tài trợ để phát triển thư viện ngôn ngữ tự nhiên của mình, nhưng trình phát hiện GPT-2 dường như là một công cụ do người dùng tạo bằng cách sử dụng thư viện Hugging Face Transformers. Trong số sáu bài kiểm tra tôi đã thực hiện, nó chính xác cho bốn bài kiểm tra trong số đó.

Trình phát hiện nội dung AI của Writer.com (Không áp dụng về độ chính xác)

Writer.com là một dịch vụ tạo ra văn bản AI, hướng tới các nhóm công ty. Công cụ phát hiện nội dung AI của nó có thể quét nội dung được tạo. Thật không may, tôi thấy công cụ này không đáng tin cậy. Trong số sáu lần quét tôi chạy qua nó, nó không thành công ở ba lần. Trong ba lần chạy thành công, nó có hai đúng và một sai.

Sau khi bài báo này được xuất bản, những người ở Writer.com đã liên hệ với ZDNET. CEO May Habib đã có nhận xét này để chia sẻ:

Nhu cầu về máy dò AI đã tăng vọt. Lưu lượng truy cập đã tăng 2-3 lần mỗi tuần kể từ khi chúng tôi ra mắt ứng dụng này vài tháng trước. Hiện chúng tôi đã có quy mô cần thiết đằng sau nó để đảm bảo nó không bị hỏng và mục tiêu của chúng tôi là giữ cho nó miễn phí - và được cập nhật để nắm bắt các kết quả đầu ra của các kiểu máy mới nhất, bao gồm cả của chúng tôi. Nếu đầu ra AI sẽ được sử dụng nguyên văn, thì nó hoàn toàn phải được quy cho.

Nội dung ở quy mô Phát hiện nội dung AI (Độ chính xác 50%)

Công cụ thứ ba mà tôi tìm thấy cũng được sản xuất bởi một công ty tạo nội dung AI, tuy nhiên công cụ này dường như hoạt động đáng tin cậy. Nội dung ở quy mô tự quảng cáo là "Chúng tôi giúp các nhà tiếp thị nội dung tập trung vào SEO bằng cách tự động hóa việc tạo nội dung." Lời kêu gọi hành động tiếp thị của nó là "Tải lên danh sách từ khóa và nhận các bài đăng trên blog hơn 2.600 từ bỏ qua khả năng phát hiện nội dung AI -- tất cả đều không có sự can thiệp của con người!" Trong số sáu bài kiểm tra tôi đã thực hiện, nó chính xác ở ba bài.

suy nghĩ cuối cùng

Đạo văn do AI điều khiển là một vấn đề đang gia tăng, vì các công cụ AI như Notion AI và ChatGPT có thể tạo ra văn bản khó phân biệt với văn bản do con người viết. Có một số cách để phát hiện xem một đoạn văn bản có được tạo bởi AI hay không, chẳng hạn như tìm kiếm các mẫu lặp đi lặp lại hoặc bất thường, kiểm tra sự thiếu nguyên bản hoặc sử dụng trình kiểm tra đạo văn. Các công cụ kiểm tra đạo văn như Turnitin, PlagScan và Copyleaks có thể xác định một số đặc điểm nhất định của văn bản do mô hình ngôn ngữ tạo ra, nhưng chúng không thể đánh lừa được.

Ngay cả những công cụ đặc biệt mà tôi tìm thấy cũng không phù hợp với nhiệm vụ. Trường hợp tốt nhất là Trình phát hiện đầu ra GPT-2, nhưng nó chỉ nhận được 2/3 văn bản được gửi chính xác.

Tại thời điểm này, tôi không nghĩ rằng chúng ta đã sẵn sàng để AI chiến đấu với AI. Thay vào đó, chúng ta sẽ phải dựa vào nhận thức của con người (có nghĩa là mọi người phải chú ý) để xác định các tác phẩm do AI tạo ra.

Đừng ngay lập tức cho rằng một cái gì đó được tạo ra bằng máy. Chỉ vì điều gì đó ngu ngốc hoặc cực kỳ không chính xác, đừng ngay lập tức cho rằng nó không phải do con người viết ra. Như chúng ta đã biết, con người hoàn toàn có khả năng tự mình viết ra một số thứ cực kỳ tồi tệ.

Ngoài ra: ChatGPT của OpenAI rất tốt trong công việc của tôi, nhưng nó không thể thay thế tôi (chưa)

Vậy bạn nghĩ như thế nào? Bạn có thể biết liệu một tác phẩm có được tạo ra bởi AI không? Bạn đã sử dụng các công cụ viết AI này trong những tháng kể từ khi tất cả chúng đột nhiên có sẵn chưa? Bạn có nghĩ rằng họ đang giúp đỡ hay cản trở giáo dục và báo chí? Cho chúng tôi biết trong các ý kiến dưới đây. Đây là cách ChatGPT trả lời điều này:

Là một người mẫu ngôn ngữ, tôi không thể nhìn thấy hoặc tương tác với các phần văn bản vật lý, vì vậy tôi không thể biết liệu một phần có phải do AI tạo ra hay không. Tuy nhiên, tôi có thể nói với bạn rằng có sẵn một số công cụ viết bằng AI và chúng có thể được sử dụng để tạo ra nhiều loại nội dung bằng văn bản, bao gồm các bài báo, tiểu thuyết, thơ, v.v.

Tôi không có kinh nghiệm cá nhân khi sử dụng các công cụ này vì tôi chỉ là một chương trình máy tính và không có khả năng duyệt internet hoặc sử dụng các công cụ vật lý. Tuy nhiên, tôi có thể nói với bạn rằng một số người đã nhận thấy các công cụ viết AI hữu ích trong giáo dục và báo chí, vì chúng có thể tiết kiệm thời gian và công sức bằng cách tự động hóa một số tác vụ. Những người khác đã bày tỏ lo ngại về khả năng những công cụ này được sử dụng để tạo ra nội dung sai lệch hoặc thiên vị hoặc để thay thế người viết. Cuối cùng, việc các công cụ viết AI là một trợ giúp hay trở ngại phụ thuộc vào cách chúng được sử dụng và bối cảnh mà chúng được sử dụng.

Vì vậy, vâng, có điều đó.