Naukowcy z Uniwersytetu Stanforda i Berkeley odkryli, że w ciągu ostatnich kilku miesięcy zarówno GPT-3.5, jak i GPT-4 znacząco zmieniły swoje zachowanie. Dokładność ich odpowiedzi na pytania wydaje się być coraz mniejsza. Dlaczego tak się dzieje?
Czy ChatGPT jest wiarygodny?
Naukowcy z Uniwersytetu Stanforda i Berkeley postanowili sprawdzić czy odpowiedzi ChatuGPT na te same pytania zmieniły się z biegiem czasu. Okazało się, że w marcu tego roku model GPT-4 był bardzo dobry w identyfikowaniu liczb pierwszych, wówczas jego dokładność wynosiła 97,6 proc. Z kolei trzy miesiące później – w czerwcu – dokładność ChatuGPT była już bardzo słaba, bo wyniosła ok. 2,4 proc. Duży model językowy GPT OpenAI (LLM) wydaje się więc być być coraz głupszy.
ChatGPT – coraz więcej błędów
Zarówno model ChatuGPT-4 i GPT-3.5 generują więcej błędów podczas tworzenia kodu w czerwcu niż w marcu. Badanie naukowców potwierdza to, na co użytkownicy chatbota zwracali uwagę już od jakiegoś czasu – że z biegiem czasu zauważyli, że staje się on, no cóż, głupszy.
Pozorna degradacja jego dokładności stała się tak kłopotliwa, że Peter Welinder z OpenAI podjął ten temat. Chcąc uciszyć plotki, stwierdził, że ta zmiana była zamierzona, a każda kolejna wersja ma być inteligentniejsza od poprzedniej. Dodał, że zmiany w doświadczeniu użytkownika mogą wynikać z ciągłego użytkowania chatbota. Jego zdaniem “gdy zaczynasz intensywniej używać ChatuGPT, zaczynasz zauważać problemy, których wcześniej nie widziałeś”.
Aktualizacje ChatuGPT
Wnioski naukowców z Uniwersytetu Stanforda i Berkeley są jednak przekonującym kontrargumentem dla hipotezy Welindera. Badacze nie podają co prawda powodów, dla których ich zdaniem chatbot generuje coraz mniej dokładne odpowiedzi. Twierdzą oni jednak, że “ważne jest, aby wiedzieć, czy aktualizacje modelu mające na celu poprawę niektórych aspektów faktycznie szkodzą jego możliwościom w innych wymiarach”. Podsumowując, szybkie aktualizacje OpenAI mogą wyrządzić więcej szkód niż pożytku dla ChatuGPT, który już stał się znany ze swoich nieścisłości.