[NEW] Szukaj pracy anonimowo — sprawdź szczegóły
Close
ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

​​Naukowcy postanowili przetestować ogólne umiejętności i wiedzę ChatGPT w zakresie programowania i zadali modelowi dużą liczbę pytań programistycznych. W rezultacie model językowy odpowiedział nieprawidłowo na ponad połowę pytań.

W badaniu przeprowadzonym przez Purdue University naukowcy zadali ChatGPT 517 pytań dot. Stack Overflow. Odpowiedzi były oceniane nie tylko pod kątem poprawności, ale także spójności, kompletności i zwięzłości. Zespół przeanalizował również styl językowy i ton odpowiedzi.

Nie był to najlepszy eksperyment dla ChatGPT. Narzędzie OpenAI odpowiedziało poprawnie tylko na 48% pytań, a 77% z nich określono jako "rozwlekłe".

Jednak ze względu na kompleksowość i styl językowy egzaminatorzy zatwierdzili prawie 40% odpowiedzi ChatGPT. Niestety, 77% tych odpowiedzi było niepoprawnych.

"Zauważyliśmy, że użytkownicy mogą zidentyfikować błąd ChatGPT tylko wtedy, gdy jest on oczywisty" — komentują badacze. "Jednak gdy błąd jest trudny do zweryfikowania lub wymaga zewnętrznego IDE lub dokumentacji, użytkownicy często go nie identyfikują lub nie doceniają".

A jakie jest wasze doświadczenie z ChatGPT? Przyzwyczailiście się do korzystania z niego?

Avatar
Kwi 30

Meta uruchamia Llama API i nowe narzędzia open source na konferencji LlamaCon 2025

Podczas pierwszej edycji konferencji LlamaCon, która odbyła się we wtorek w siedzibie Meta w Menlo Park, firma zaprezentowała nowy zestaw narzędzi dla twórców rozwiązań AI opartych na modelach Llama. Wydarzenie miało charakter międzynarodowy, a głównym celem Meta jest zwiększenie adopcji własnych otwartych modeli AI i wzmocnienie pozycji wobec dostawców zamkniętych rozwiązań, takich jak OpenAI.
0
Mar 7

Współzałożyciel Google Larry Page uruchamia nowy startup AI Dynatomics

Larry Page, współzałożyciel Google, tworzy nowy startup o nazwie Dynatomics, który zajmie się wykorzystaniem sztucznej inteligencji w projektowaniu i produkcji produktów.
0
Maj 6

Mozilla ostrzega: Firefox może zniknąć bez wsparcia finansowego od Google

Mozilla, organizacja odpowiedzialna za rozwój przeglądarki Firefox, ostrzega przed ryzykiem jej zamknięcia w przypadku utraty dochodów z umowy z Google. Jak informuje The Verge, taka możliwość pojawiła się w związku z propozycjami Departamentu Sprawiedliwości USA, które mają ograniczyć dominującą pozycję Google na rynku wyszukiwarek.
0

Ta strona używa plików cookie, aby zapewnić Ci lepsze wrażenia podczas przeglądania.

Dowiedz się więcej o tym, jak używamy plików cookie i jak zmienić preferencje dotyczące plików cookie w naszej Polityka plików cookie.

Zmień ustawienia
Zapisz Akceptuj wszystkie cookies