[NEW] Szukaj pracy anonimowo — sprawdź szczegóły
Close
ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

​​Naukowcy postanowili przetestować ogólne umiejętności i wiedzę ChatGPT w zakresie programowania i zadali modelowi dużą liczbę pytań programistycznych. W rezultacie model językowy odpowiedział nieprawidłowo na ponad połowę pytań.

W badaniu przeprowadzonym przez Purdue University naukowcy zadali ChatGPT 517 pytań dot. Stack Overflow. Odpowiedzi były oceniane nie tylko pod kątem poprawności, ale także spójności, kompletności i zwięzłości. Zespół przeanalizował również styl językowy i ton odpowiedzi.

Nie był to najlepszy eksperyment dla ChatGPT. Narzędzie OpenAI odpowiedziało poprawnie tylko na 48% pytań, a 77% z nich określono jako "rozwlekłe".

Jednak ze względu na kompleksowość i styl językowy egzaminatorzy zatwierdzili prawie 40% odpowiedzi ChatGPT. Niestety, 77% tych odpowiedzi było niepoprawnych.

"Zauważyliśmy, że użytkownicy mogą zidentyfikować błąd ChatGPT tylko wtedy, gdy jest on oczywisty" — komentują badacze. "Jednak gdy błąd jest trudny do zweryfikowania lub wymaga zewnętrznego IDE lub dokumentacji, użytkownicy często go nie identyfikują lub nie doceniają".

A jakie jest wasze doświadczenie z ChatGPT? Przyzwyczailiście się do korzystania z niego?

Avatar
Mar 3

Brin wymaga pełnego zaangażowania od zespołu Google: 12-godzinne zmiany i obowiązkowa praca w biurze

Współzałożyciel Google, Siergiej Brin, wezwał pracowników do częstszej obecności w biurze oraz zwiększenia czasu pracy do 12 godzin dziennie. Ma to na celu utrzymanie przewagi w wyścigu o sztuczną inteligencję ogólną (AGI).
0
Kwi 14

Meta straciła już 45 miliardów dolarów na projekt metaverse

Cztery lata po zmianie nazwy Facebooka na Meta i ogłoszeniu wizji wirtualnych światów, projekt metaverse wciąż przynosi firmie ogromne straty. Według szacunków, do początku 2025 roku Reality Labs – odpowiedzialne za rozwój AR i VR – pochłonęło już 45 miliardów dolarów.
0
Kwi 11

Trump zmienia zdanie w sprawie ograniczeń eksportu chipów H20 po kolacji z CEO Nvidii

Administracja Donalda Trumpa niespodziewanie zrezygnowała z planowanego zakazu eksportu chipów H20 do Chin — najnowocześniejszych układów AI, które amerykańskie firmy mogą legalnie sprzedawać na rynek chiński. Decyzję ogłoszono po kolacji w Mar-a-Lago, na którą zaproszono także CEO Nvidii, Jensena Huanga. Koszt jednego miejsca przy stole wynosił milion dolarów.
0

Ta strona używa plików cookie, aby zapewnić Ci lepsze wrażenia podczas przeglądania.

Dowiedz się więcej o tym, jak używamy plików cookie i jak zmienić preferencje dotyczące plików cookie w naszej Polityka plików cookie.

Zmień ustawienia
Zapisz Akceptuj wszystkie cookies