Các nhà nghiên cứu hiện cho biết nền tảng trí tuệ nhân tạo (AI) phổ biến GPT thực sự đang thực hiện các nhiệm vụ kém hơn so với khi nó được phát hành lần đầu vào tháng 11 năm ngoái, bất chấp sự đảm bảo của nhà phát triển OpenAI.
Các nhà nghiên cứu từ Stanford và Berkeley đã phát hiện ra rằng trong khoảng thời gian chỉ vài tháng, cả GPT-3.5 và GPT-4 — hệ thống cung cấp năng lượng cho ChatGPT — đã tạo ra phản hồi với tỷ lệ chính xác giảm mạnh.
Những phát hiện này được trình bày chi tiết trong một bài báo chưa được bình duyệt và khẳng định điều mà nhiều người dùng AI đã nghi ngờ trong một thời gian.
Sự suy giảm hiệu suất của AI được quan sát thấy đã khiến chủ tịch sản phẩm của OpenAI, Peter Welinder, cố gắng xua tan những tin đồn.
“Không, chúng tôi không làm cho GPT-4 trở nên ngu ngốc hơn. Hoàn toàn ngược lại: chúng tôi làm cho mỗi phiên bản mới thông minh hơn phiên bản trước,” anh ấy đã tweet vào ngày 13 tháng 7, thêm rằng, “Giả thuyết hiện tại: Khi bạn sử dụng nó nhiều hơn, bạn bắt đầu nhận thấy những vấn đề mà bạn không thấy trước đây”.
Welinder sau đó nói với người dùng, “Nếu bạn có ví dụ mà bạn tin rằng nó bị thụt lùi, vui lòng trả lời chủ đề này và chúng tôi sẽ điều tra.” Ông cũng nói với người dùng rằng phiên bản miễn phí, GPT-3.5, cũng đã được cải thiện.
‘Tệ hơn đáng kể’
Tuy nhiên, các nhà nghiên cứu của Stanford và Berkeley tin rằng AI đang hoạt động kém hơn so với trước đây trong một số nhiệm vụ nhất định.
“Chúng tôi nhận thấy rằng hiệu suất và hành vi của cả GPT-3.5 và GPT-4 khác nhau đáng kể giữa hai bản phát hành này và hiệu suất của chúng trên một số tác vụ đã trở nên kém hơn đáng kể theo thời gian”, đồng thời cho biết thêm rằng họ đặt câu hỏi về tuyên bố rằng GPT-4 đang nhận được mạnh mẽ hơn.
Các nhà nghiên cứu viết: “Điều quan trọng là phải biết liệu các bản cập nhật cho mô hình nhằm cải thiện một số khía cạnh có thực sự làm tổn hại đến khả năng của nó ở các chiều khác hay không”.
Các nhà nghiên cứu, bao gồm Lingjiao Chen, một PH.D khoa học máy tính và James Zou, một trong những tác giả của nghiên cứu, đã giao cho AI một nhiệm vụ tương đối đơn giản: xác định các số nguyên tố.
Họ phát hiện ra rằng vào tháng 3 năm nay, AI đã xác định thành công các số nguyên tố với tỷ lệ 84%, tuy nhiên, khi được giao nhiệm vụ tương tự vào tháng 6 năm sau, khả năng xác định chính xác các số nguyên tố của AI đã giảm xuống chỉ còn 51%.
Các nhà nghiên cứu đã đưa ra cho AI tổng cộng tám nhiệm vụ khác nhau để thực hiện và nhận thấy rằng GPT-4 trở nên kém hơn ở sáu nhiệm vụ trong số đó trong khi GPT-3.5 đã cải thiện ở sáu nhiệm vụ trong số đó, nhưng vẫn không hoạt động tốt như người anh em cao cấp hơn của nó là GPT- 4 trên tất cả các nhiệm vụ.
Họ cũng nhận thấy rằng vào tháng 3, GPT-4 sẽ trả lời 98% câu hỏi đặt ra cho nó, tuy nhiên đến tháng 6, nó chỉ đưa ra câu trả lời cho 23% truy vấn, cho người dùng biết rằng lời nhắc của họ quá chủ quan và với tư cách là một AI, nó không có bất kỳ ý kiến.
‘AI trôi dạt’
Các chuyên gia tin rằng GPT-4 và 3.5, phiên bản miễn phí, có thể đang gặp phải tình trạng mà các nhà nghiên cứu gọi là “AI drift”.
Sự trôi dạt xảy ra khi các mô hình ngôn ngữ lớn (LLM) hoạt động theo những cách kỳ lạ khác với các tham số ban đầu, khiến các nhà phát triển của chúng bối rối.
Đây có thể là kết quả của việc các nhà phát triển thực hiện các thay đổi nhằm cải thiện AI, nhưng cuối cùng lại có tác động bất lợi đến các tính năng khác.
Điều này có thể giải thích cho sự suy giảm hiệu suất mà các nhà nghiên cứu đã tìm thấy.
Chẳng hạn, các nhà nghiên cứu nhận thấy rằng từ tháng 3 đến tháng 6 năm sau, GPT-4 hoạt động kém hơn trong việc tạo mã, trả lời các câu hỏi kiểm tra y tế và trả lời các gợi ý quan điểm, tất cả đều có thể là do hiện tượng AI trôi dạt.
Zou nói với Wall Street Journal, “Chúng tôi đã nghi ngờ rằng nó có thể xảy ra ở đây, nhưng chúng tôi rất ngạc nhiên về tốc độ trôi dạt đang diễn ra.”
Những phát hiện này có thể cung cấp cái nhìn sâu sắc về cách các nền tảng AI khác hoạt động trong thời gian dài. Theo các nhà nghiên cứu, sự trôi dạt của AI có thể là không thể tránh khỏi, vì hầu hết các LLM đều được đào tạo theo cách tương tự và do đó sẽ dẫn đến kết quả tương tự.
Các tác giả của nghiên cứu đã viết rằng họ dự định cập nhật các phát hiện của mình và tiến hành “nghiên cứu dài hạn liên tục bằng cách thường xuyên đánh giá GPT-3.5, GPT-4 và các LLM khác trong các nhiệm vụ đa dạng theo thời gian”.
