[NEW] Szukaj pracy anonimowo — sprawdź szczegóły
Close
ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

​​Naukowcy postanowili przetestować ogólne umiejętności i wiedzę ChatGPT w zakresie programowania i zadali modelowi dużą liczbę pytań programistycznych. W rezultacie model językowy odpowiedział nieprawidłowo na ponad połowę pytań.

W badaniu przeprowadzonym przez Purdue University naukowcy zadali ChatGPT 517 pytań dot. Stack Overflow. Odpowiedzi były oceniane nie tylko pod kątem poprawności, ale także spójności, kompletności i zwięzłości. Zespół przeanalizował również styl językowy i ton odpowiedzi.

Nie był to najlepszy eksperyment dla ChatGPT. Narzędzie OpenAI odpowiedziało poprawnie tylko na 48% pytań, a 77% z nich określono jako "rozwlekłe".

Jednak ze względu na kompleksowość i styl językowy egzaminatorzy zatwierdzili prawie 40% odpowiedzi ChatGPT. Niestety, 77% tych odpowiedzi było niepoprawnych.

"Zauważyliśmy, że użytkownicy mogą zidentyfikować błąd ChatGPT tylko wtedy, gdy jest on oczywisty" — komentują badacze. "Jednak gdy błąd jest trudny do zweryfikowania lub wymaga zewnętrznego IDE lub dokumentacji, użytkownicy często go nie identyfikują lub nie doceniają".

A jakie jest wasze doświadczenie z ChatGPT? Przyzwyczailiście się do korzystania z niego?

Avatar
Cze 24

„Ważne, by nie zapomnieć, jak pisać kod ręcznie”: CEO GitHuba o tym, dlaczego nie warto polegać wyłącznie na AI

CEO GitHuba, Thomas Dohmke, zaznaczył, że nawet w czasach, gdy sztuczna inteligencja aktywnie generuje kod, programiści nie powinni zapominać, jak robić to samodzielnie. Ostrzega, że całkowite poleganie na autogenerowaniu może prowadzić do utraty istotnych umiejętności i czasu.
0
Maj 8

82% liderów uważa rok 2025 za przełomowy dla integracji AI w biznesie. Najważniejsze wnioski z raportu Microsoft

Microsoft wspólnie z LinkedIn opublikował coroczny raport Work Trend Index 2025, w którym opisano, jak sztuczna inteligencja przekształca współczesny rynek pracy. Kluczowym trendem jest pojawienie się tzw. Frontier Firms — firm, w których część zadań realizują nie ludzie, a agenci AI działający jako cyfrowi współpracownicy.
0
Lut 14

Google rozszerza działalność w Polsce – AI w energetyce i cyberbezpieczeństwie

Google oraz polski rząd podpisały porozumienie o współpracy na rzecz rozwoju zastosowań sztucznej inteligencji w sektorze energetyki, cyberbezpieczeństwa oraz innych strategicznych obszarach. Porozumienie ogłoszono po spotkaniu dyrektora generalnego Google i Alphabet, Sundara Pichaia, z premierem Donaldem Tuskiem w Warszawie. Google od 2014 roku rozwija swoje operacje w Polsce, a obecnie posiada tu największy w regionie hub inżynieryjny, zatrudniający ponad 2000 specjalistów.
0

Ta strona używa plików cookie, aby zapewnić Ci lepsze wrażenia podczas przeglądania.

Dowiedz się więcej o tym, jak używamy plików cookie i jak zmienić preferencje dotyczące plików cookie w naszej Polityka plików cookie.

Zmień ustawienia
Zapisz Akceptuj wszystkie cookies