[NEW] Szukaj pracy anonimowo — sprawdź szczegóły
Close
ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

​​Naukowcy postanowili przetestować ogólne umiejętności i wiedzę ChatGPT w zakresie programowania i zadali modelowi dużą liczbę pytań programistycznych. W rezultacie model językowy odpowiedział nieprawidłowo na ponad połowę pytań.

W badaniu przeprowadzonym przez Purdue University naukowcy zadali ChatGPT 517 pytań dot. Stack Overflow. Odpowiedzi były oceniane nie tylko pod kątem poprawności, ale także spójności, kompletności i zwięzłości. Zespół przeanalizował również styl językowy i ton odpowiedzi.

Nie był to najlepszy eksperyment dla ChatGPT. Narzędzie OpenAI odpowiedziało poprawnie tylko na 48% pytań, a 77% z nich określono jako "rozwlekłe".

Jednak ze względu na kompleksowość i styl językowy egzaminatorzy zatwierdzili prawie 40% odpowiedzi ChatGPT. Niestety, 77% tych odpowiedzi było niepoprawnych.

"Zauważyliśmy, że użytkownicy mogą zidentyfikować błąd ChatGPT tylko wtedy, gdy jest on oczywisty" — komentują badacze. "Jednak gdy błąd jest trudny do zweryfikowania lub wymaga zewnętrznego IDE lub dokumentacji, użytkownicy często go nie identyfikują lub nie doceniają".

A jakie jest wasze doświadczenie z ChatGPT? Przyzwyczailiście się do korzystania z niego?

Avatar
Lut 7, 2024
Grammarly lays off 20% of staff due to restructuring
Grammarly announced a business restructuring to advance focus on the AI-enabled workplace of the future. As part of this restructuring, they lay off approximately 230 members of our global team.
Sty 30
Nassim Taleb: wyprzedaż akcji NVIDIA to początek spadków na rynku AI
Autor książki Czarny Łabędź, Nassim Taleb, ostrzega, że poniedziałkowa wyprzedaż akcji NVIDIA z 27 stycznia to jedynie wstęp do większych turbulencji na rynku firm rozwijających sztuczną inteligencję. W rozmowie z Bloomberg News podkreślił, że inwestorzy dopiero zaczynają dostrzegać rzeczywiste ryzyka.
Lut 12
Sam Altman: „Całe życie Muska to niepewność, współczuję mu”
Sam Altman, dyrektor generalny OpenAI, skomentował ofertę Elona Muska dotyczącą zakupu firmy oraz rywalizację między OpenAI a xAI. W rozmowie z Bloomberg podczas Paris AI Summit odniósł się do działań Muska i stwierdził: „Całe jego życie to niepewność, współczuję mu. Myślę, że nie jest szczęśliwym człowiekiem”

Ta strona używa plików cookie, aby zapewnić Ci lepsze wrażenia podczas przeglądania.

Dowiedz się więcej o tym, jak używamy plików cookie i jak zmienić preferencje dotyczące plików cookie w naszej Polityka plików cookie.

Zmień ustawienia
Zapisz Akceptuj wszystkie cookies