Trước khi ChatGPT xuất hiện và nổi tiếng, Stack Overflow là nguồn tài nguyên không thể thiếu cho các lập trình viên mỗi khi cần lời khuyên cho các dự án của họ. Nhưng như mọi diễn đàn thông thường khác, bạn phải đợi ai đó biết về vấn đề bạn cần để trả lời được các câu hỏi đó.
Với ChatGPT thì khác. Khả năng cung cấp câu trả lời cho câu hỏi nào, vào bất kỳ lúc nào đang khiến nhiều người tìm đến chatbot AI này hơn là Stack Overflow. Thế nhưng ngoại trừ một số bài kiểm tra đơn lẻ, không có nhiều dữ liệu cho thấy ChatGPT hiệu quả thế nào trong việc trả lời các câu hỏi của lập trình viên. Vì vậy, một nghiên cứu mới của Đại học Purdue quyết định tìm hiểu về điều này.
Để biết được ChatGPT hiệu quả như thế nào trong việc trả lời các câu hỏi về kỹ năng lập trình, các nhà nghiên cứu đã đưa cho chatbot AI này 517 câu hỏi trên Stack Overflow và kiểm tra độ chính xác cũng như chất lượng của những câu trả lời đó.
Kết quả có thể làm nhiều người bất ngờ về khả năng lập trình của ChatGPT. Trong số 517 câu hỏi, 259 câu trả lời của ChatGPT (khoảng 52%) là sai và chỉ có 248 (48%) là đúng. Hơn nữa, có đến 77% câu trả lời là dài dòng, số còn lại mới là các câu trả lời tương đồng với cách con người trả lời.
Mặc dù trả lời thiếu chính xác đáng kể cho các câu hỏi, nhưng kết quả cho thấy 65% các câu trả lời ở mức dễ hiểu và giải quyết được tất cả các khía cạnh của câu hỏi.
Để phân tích sâu hơn về chất lượng của các phản hồi ChatGPT, các nhà nghiên cứu đã yêu cầu 12 người tham gia khác có trình độ chuyên môn lập trình đưa ra câu trả lời của họ về những vấn đề này.
Mặc dù những người tham gia thích câu trả lời của Stack Overflow hơn là của ChatGPT khi người dùng chỉ lựa chọn 39,34% câu trả lời của ChatGPT. Thế nhưng hóa ra chính những người tham gia cũng không thể xác định được tất cả các câu trả lời sai do ChatGPT tạo ra.
Theo nghiên cứu trên, các câu trả lời của ChatGPT được trình bày rõ ràng thường khiến người dùng bỏ qua những thông tin không chính xác trong các câu trả lời.
"Người dùng bỏ qua các thông tin không chính xác trong những câu trả lời ChatGPT tạo ra (chiếm 39,34% các câu trả lời) do thông tin chi tiết toàn diện, rõ ràng và giống người trong các câu trả lời này", các tác giả nghiên cứu cho biết.
Việc tạo ra các câu trả lời nghe có vẻ hợp lý nhưng không chính xác là một vấn đề nghiêm trọng đối với tất cả các chatbot AI vì nó cho phép lan truyền thông tin sai lệch. Ngoài rủi ro đó, mức độ chính xác thấp trong các câu trả lời là lý do cho thấy, mọi người đừng nên quá thần thánh hóa khả năng của ChatGPT, đặc biệt trong lĩnh vực lập trình.