[NEW] Search for a job anonymously — check the details
Close
ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

​​Naukowcy postanowili przetestować ogólne umiejętności i wiedzę ChatGPT w zakresie programowania i zadali modelowi dużą liczbę pytań programistycznych. W rezultacie model językowy odpowiedział nieprawidłowo na ponad połowę pytań.

W badaniu przeprowadzonym przez Purdue University naukowcy zadali ChatGPT 517 pytań dot. Stack Overflow. Odpowiedzi były oceniane nie tylko pod kątem poprawności, ale także spójności, kompletności i zwięzłości. Zespół przeanalizował również styl językowy i ton odpowiedzi.

Nie był to najlepszy eksperyment dla ChatGPT. Narzędzie OpenAI odpowiedziało poprawnie tylko na 48% pytań, a 77% z nich określono jako "rozwlekłe".

Jednak ze względu na kompleksowość i styl językowy egzaminatorzy zatwierdzili prawie 40% odpowiedzi ChatGPT. Niestety, 77% tych odpowiedzi było niepoprawnych.

"Zauważyliśmy, że użytkownicy mogą zidentyfikować błąd ChatGPT tylko wtedy, gdy jest on oczywisty" — komentują badacze. "Jednak gdy błąd jest trudny do zweryfikowania lub wymaga zewnętrznego IDE lub dokumentacji, użytkownicy często go nie identyfikują lub nie doceniają".

A jakie jest wasze doświadczenie z ChatGPT? Przyzwyczailiście się do korzystania z niego?

Avatar
Feb 21

30 filmów o sztucznej inteligencji: jak AI jest przedstawiane w kinie

Sztuczna inteligencja to jeden z kluczowych tematów współczesnej technologii. Systemy AI rozwijają się w zawrotnym tempie, a ich zastosowanie w przemyśle, medycynie czy rozrywce zaczyna odgrywać coraz większą rolę w kształtowaniu gospodarki i społeczeństwa.
0
May 24, 2023

Pierwszy takiego rodzaju Hub Technologiczno-Produktowy w Polsce amerykańskiego giganta

0
May 5

Windsurf: według Mohana, nawet przy 90% kodu generowanego przez AI rola programistów pozostaje kluczowa

Varun Mohan, założyciel startupu Windsurf (obecnie rozważanego do przejęcia przez OpenAI), podkreśla, że rozwój AI nie eliminuje znaczenia zespołów inżynierskich. Jego zdaniem technologia skraca czas potrzebny na programowanie, ale nie zastępuje pełnego procesu tworzenia oprogramowania.
0

This site uses cookies to offer you a better browsing experience.

Find out more on how we use cookies and how to change cookie preferences in our Cookies Policy.

Customize
Save Accept all cookies