Nowe badania: 52 % odpowiedzi programistycznych generowanych przez ChatGPT jest nieprawidłowych

Nowe badania: 52 % odpowiedzi programistycznych generowanych przez ChatGPT jest nieprawidłowych

Zespół naukowców z Purdue University zaprezentował badania na konferencji Computer-Human Interaction, które pokazują, że 52 % odpowiedzi programistycznych generowanych przez ChatGPT jest nieprawidłowych, informuje Futurism.

Na potrzeby badania naukowcy przyjrzeli się 517 pytaniom w Stack Overflow i przeanalizowali próbę odpowiedzi na nie przez ChatGPT.

„Odkryliśmy, że 52 % odpowiedzi ChatGPT zawiera błędne informacje, 77 % odpowiedzi jest bardziej rozwlekłych niż odpowiedzi udzielone przez użytkownika, a 78 % odpowiedzi cierpi na różne stopnie niespójności z odpowiedziami udzielonymi przez użytkownika” — napisali.

Zespół przeprowadził również analizę lingwistyczną 2000 losowo wybranych odpowiedzi ChatGPT i stwierdził, że były one „bardziej formalne i analityczne”, a jednocześnie przedstawiały „mniej negatywnych nastrojów”.

Naukowcy także odkryli, że programiści nie wychwytują błędów generowanych przez sztuczną inteligencję w 39%.

„Kolejne częściowo ustrukturyzowane wywiady ujawniły, że uprzejmy język, wyartykułowane i podręcznikowe odpowiedzi oraz kompleksowość są jednymi z głównych powodów, dla których odpowiedzi ChatGPT wyglądają bardziej przekonująco, więc uczestnicy obniżyli swoją czujność i przeoczyli pewne błędne informacje w odpowiedziach ChatGPT” — napisali naukowcy.


Avatar
Aug 18, 2025

„Jestem programistą, który nie pamięta czasów sprzed AI” — od sprzedawcy w sklepie do developera sztucznej inteligencji

Jak znaleźć pierwszą pracę w IT, jakie wyzwania czekają programistów, którym nieznana jest era „przed AI”, na jakiej umowie najlepiej pracować w Polsce jako programista AI oraz czterdzieści najbardziej zagrożonych przez AI zawodów, które Microsoft opublikował w swoim raporcie. O tym wszystkim rozmawiamy z Grzegorzem w wywiadzie.
0
Oct 19, 2023

Zwolnienia w branży technologicznej w 2023 roku

Zwolnienia w firmach-gigantach znacznie przewyższyły zeszłoroczne cięcia.
0
Aug 21, 2024

Nvidia oferuje bezpłatne kursy online z zakresu AI zarówno dla doświadczonych programistów, jak i dla początkujących

0

This site uses cookies to offer you a better browsing experience.

Find out more on how we use cookies and how to change cookie preferences in our Cookies Policy.

Customize
Save Accept all cookies