[NEW] Search for a job anonymously — check the details
Close
ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

ChatGPT odpowiada poprawnie tylko na 48% pytań programistycznych

​​Naukowcy postanowili przetestować ogólne umiejętności i wiedzę ChatGPT w zakresie programowania i zadali modelowi dużą liczbę pytań programistycznych. W rezultacie model językowy odpowiedział nieprawidłowo na ponad połowę pytań.

W badaniu przeprowadzonym przez Purdue University naukowcy zadali ChatGPT 517 pytań dot. Stack Overflow. Odpowiedzi były oceniane nie tylko pod kątem poprawności, ale także spójności, kompletności i zwięzłości. Zespół przeanalizował również styl językowy i ton odpowiedzi.

Nie był to najlepszy eksperyment dla ChatGPT. Narzędzie OpenAI odpowiedziało poprawnie tylko na 48% pytań, a 77% z nich określono jako "rozwlekłe".

Jednak ze względu na kompleksowość i styl językowy egzaminatorzy zatwierdzili prawie 40% odpowiedzi ChatGPT. Niestety, 77% tych odpowiedzi było niepoprawnych.

"Zauważyliśmy, że użytkownicy mogą zidentyfikować błąd ChatGPT tylko wtedy, gdy jest on oczywisty" — komentują badacze. "Jednak gdy błąd jest trudny do zweryfikowania lub wymaga zewnętrznego IDE lub dokumentacji, użytkownicy często go nie identyfikują lub nie doceniają".

A jakie jest wasze doświadczenie z ChatGPT? Przyzwyczailiście się do korzystania z niego?

Avatar
Feb 17

Apple Intelligence pojawi się na Vision Pro wiosną 2025 roku

Apple planuje wprowadzić system Apple Intelligence do zestawu Vision Pro wraz z aktualizacją systemu visionOS 2.4, której premiera przewidziana jest na kwiecień 2025 roku. Jak informuje dziennikarz Bloomberga Mark Gurman, testy beta tej wersji mogą rozpocząć się już w najbliższych dniach.
0
Mar 14

Microsoft dodaje funkcję podsumowywania tekstu oraz nowe możliwości w Notepad i Snipping Tool

Microsoft wprowadza funkcję podsumowywania tekstu opartą na sztucznej inteligencji w Notepad, udostępniając ją uczestnikom programu Windows Insider na kanałach Canary i Dev.
0
Jun 11

Meta tworzy laboratorium superinteligencji i rozważa inwestycję w Scale AI

Meta ogłosiła plany uruchomienia nowego laboratorium badawczego, które ma się skupić na opracowaniu systemów superinteligentnych — zdolnych przekraczać ludzkie możliwości poznawcze. Projekt powstaje w ramach szerszej reorganizacji działu AI w firmie Marka Zuckerberga. Do zespołu dołączy Alexandr Wang, założyciel i CEO Scale AI, a Meta prowadzi rozmowy o wielomiliardowej inwestycji w jego firmę,
0

This site uses cookies to offer you a better browsing experience.

Find out more on how we use cookies and how to change cookie preferences in our Cookies Policy.

Customize
Save Accept all cookies