Nowe badania: 52 % odpowiedzi programistycznych generowanych przez ChatGPT jest nieprawidłowych

Nowe badania: 52 % odpowiedzi programistycznych generowanych przez ChatGPT jest nieprawidłowych

Zespół naukowców z Purdue University zaprezentował badania na konferencji Computer-Human Interaction, które pokazują, że 52 % odpowiedzi programistycznych generowanych przez ChatGPT jest nieprawidłowych, informuje Futurism.

Na potrzeby badania naukowcy przyjrzeli się 517 pytaniom w Stack Overflow i przeanalizowali próbę odpowiedzi na nie przez ChatGPT.

Odkryliśmy, że 52 % odpowiedzi ChatGPT zawiera błędne informacje, 77 % odpowiedzi jest bardziej rozwlekłych niż odpowiedzi udzielone przez użytkownika, a 78 % odpowiedzi cierpi na różne stopnie niespójności z odpowiedziami udzielonymi przez użytkownika” — napisali.

Zespół przeprowadził również analizę lingwistyczną 2000 losowo wybranych odpowiedzi ChatGPT i stwierdził, że były one „bardziej formalne i analityczne”, a jednocześnie przedstawiały „mniej negatywnych nastrojów”.

Naukowcy także odkryli, że programiści nie wychwytują błędów generowanych przez sztuczną inteligencję w 39%.

„Kolejne częściowo ustrukturyzowane wywiady ujawniły, że uprzejmy język, wyartykułowane i podręcznikowe odpowiedzi oraz kompleksowość są jednymi z głównych powodów, dla których odpowiedzi ChatGPT wyglądają bardziej przekonująco, więc uczestnicy obniżyli swoją czujność i przeoczyli pewne błędne informacje w odpowiedziach ChatGPT” — napisali naukowcy.


Avatar
Kwi 19
Samsung przenosi wszystkich menedżerów na 6-dniowy tydzień pracy. Co o tym myślisz?
ecyzja została podjęta ze względu na gwałtowny spadek notowań południowokoreańskiej waluty, rosnące ceny ropy naftowej i wysokie koszty pożyczek.
Maj 28
“Cichy urlop”. Millenialsi biorą wolne bez informowania o tym swoich szefów
Prawie czterech na dziesięciu millenialsów przyznało się, że wzięło wolne w pracy bez informowania o tym swojego pracodawcy.
Lip 5
Ile zarabiają programiści w EPAM Polska: od 6 do 19 tys. złotych miesięcznie
Postanowiliśmy sprawdzić, ile zarabiają specjaliści techniczni w EPAM Polska. EPAM to znaczący gracz na polskim rynku technologicznym, zatrudniający ponad 5000 profesjonalistów 5 miastach (Kraków, Wrocław, Warszawa, Gdańsk i Katowice).

Ta strona używa plików cookie, aby zapewnić Ci lepsze wrażenia podczas przeglądania.

Dowiedz się więcej o tym, jak używamy plików cookie i jak zmienić preferencje dotyczące plików cookie w naszej Polityka plików cookie.

Zmień ustawienia
Zapisz Akceptuj wszystkie cookies