[NEW] Szukaj pracy anonimowo — sprawdź szczegóły
Close
ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

​​Naukowcy postanowili przetestować ogólne umiejętności i wiedzę ChatGPT w zakresie programowania i zadali modelowi dużą liczbę pytań programistycznych. W rezultacie model językowy odpowiedział nieprawidłowo na ponad połowę pytań.

W badaniu przeprowadzonym przez Purdue University naukowcy zadali ChatGPT 517 pytań dot. Stack Overflow. Odpowiedzi były oceniane nie tylko pod kątem poprawności, ale także spójności, kompletności i zwięzłości. Zespół przeanalizował również styl językowy i ton odpowiedzi.

Nie był to najlepszy eksperyment dla ChatGPT. Narzędzie OpenAI odpowiedziało poprawnie tylko na 48% pytań, a 77% z nich określono jako "rozwlekłe".

Jednak ze względu na kompleksowość i styl językowy egzaminatorzy zatwierdzili prawie 40% odpowiedzi ChatGPT. Niestety, 77% tych odpowiedzi było niepoprawnych.

"Zauważyliśmy, że użytkownicy mogą zidentyfikować błąd ChatGPT tylko wtedy, gdy jest on oczywisty" — komentują badacze. "Jednak gdy błąd jest trudny do zweryfikowania lub wymaga zewnętrznego IDE lub dokumentacji, użytkownicy często go nie identyfikują lub nie doceniają".

A jakie jest wasze doświadczenie z ChatGPT? Przyzwyczailiście się do korzystania z niego?

Avatar
Maj 27

WhatsApp Web zyska nowy scentralizowany panel multimediów

Meta pracuje nad funkcją, która umożliwi użytkownikom WhatsApp Web przeglądanie i zarządzanie wszystkimi przesłanymi plikami multimedialnymi w jednym miejscu, bez potrzeby przeszukiwania pojedynczych rozmów, – informuje WABetaInfo.
0
Lut 20

Valve udostępniło kod gry Team Fortress 2: Nowe możliwości dla twórców modów

Firma Valve opublikowała zaktualizowane narzędzie "Source SDK 2013", które służy do tworzenia modów do gier opartych na silniku Source. Co szczególnie istotne, pakiet zawiera pełny kod źródłowy gry Team Fortress 2 (zarówno część kliencką, jak i serwerową).
0
Mar 12

TSMC proponuje NVIDIA, AMD i Broadcom współpracę z Intel Foundry

TSMC zaproponowało firmom NVIDIA, AMD i Broadcom zakup udziałów we wspólnym przedsiębiorstwie, które miałoby zarządzać fabrykami Intel Foundry. Tajwański producent chipów zamierza kontrolować operacje amerykańskiej spółki, ale jego udział nie przekroczy 50%. Podobną propozycję otrzymało również Qualcomm – informuje Reuters.
0

Ta strona używa plików cookie, aby zapewnić Ci lepsze wrażenia podczas przeglądania.

Dowiedz się więcej o tym, jak używamy plików cookie i jak zmienić preferencje dotyczące plików cookie w naszej Polityka plików cookie.

Zmień ustawienia
Zapisz Akceptuj wszystkie cookies