Nghiên cứu được thực hiện bởi Tiến sĩ Erik Guzik, trợ lý giáo sư tại Đại học Montana (University of Montana). Các nhà nghiên cứu đã thực hiện kiểm tra Torrance Tests of Creative Thinking (TTCT), một bài kiểm tra về sáng tạo rất nổi tiếng và phổ biến trên công cụ trí tuệ nhân tạo của OpenAI - ChatGPT-4 và ghi lại tám phản hồi. Các đối tác của nghiên cứu cũng thu thập phản hồi từ 24 sinh viên Đại học Montana. Các điểm số này được so sánh với điểm số của 2.700 sinh viên khác trên toàn quốc đã tham gia kiểm tra TTCT.
Kết quả, ChatGPT đứng Top 1% kết quả bài kiểm tra về khả năng sáng tạo độc đáo.
Cụ thể, ChatGPT đã lọt vào danh sách những ứng viên ưu tú về khả năng sáng tạo. Ứng dụng AI nằm trong nhóm kết quả hàng đầu về mức độ trôi chảy, khả năng tạo ra một lượng lớn ý tưởng, tính độc đáo. Tuy nhiên, ChatGPT tỏ ra kém cạnh một chút khi xếp hạng ở vị trí 97 (Top3%) về tính linh hoạt và khả năng tạo ra các danh mục ý tưởng mới.
Theo nhóm nghiên cứu, ChatGPT không thể “gian lận” bằng cách truy cập thông tin của các bài kiểm tra thông qua internet hoặc các cơ sở dữ liệu cộng đồng, do TTCT là tài liệu độc quyền được giám sát chặt chẽ. Tất cả các bài dự thi đều được chấm điểm bởi bởi một đối tác thứ 3, không sử dụng AI.
Nghiên cứu tương tự về phiên bản ChatGPT-3 không đạt được kết quả cao như con người trong các bài kiểm tra liên quan đến tư duy độc đáo. Nhưng chỉ một năm sau, với phiên bản ChatGPT-4 tiên tiến hơn, ChatGPT đã lọt vào top 1%.