Zespół naukowców z Purdue University zaprezentował badania na konferencji Computer-Human Interaction, które pokazują, że 52 % odpowiedzi programistycznych generowanych przez ChatGPT jest nieprawidłowych, informuje Futurism.

Na potrzeby badania naukowcy przyjrzeli się 517 pytaniom w Stack Overflow i przeanalizowali próbę odpowiedzi na nie przez ChatGPT.

„Odkryliśmy, że 52 % odpowiedzi ChatGPT zawiera błędne informacje, 77 % odpowiedzi jest bardziej rozwlekłych niż odpowiedzi udzielone przez użytkownika, a 78 % odpowiedzi cierpi na różne stopnie niespójności z odpowiedziami udzielonymi przez użytkownika” — napisali.

Zespół przeprowadził również analizę lingwistyczną 2000 losowo wybranych odpowiedzi ChatGPT i stwierdził, że były one „bardziej formalne i analityczne”, a jednocześnie przedstawiały „mniej negatywnych nastrojów”.

Naukowcy także odkryli, że programiści nie wychwytują błędów generowanych przez sztuczną inteligencję w 39%.

„Kolejne częściowo ustrukturyzowane wywiady ujawniły, że uprzejmy język, wyartykułowane i podręcznikowe odpowiedzi oraz kompleksowość są jednymi z głównych powodów, dla których odpowiedzi ChatGPT wyglądają bardziej przekonująco, więc uczestnicy obniżyli swoją czujność i przeoczyli pewne błędne informacje w odpowiedziach ChatGPT” — napisali naukowcy.