[NEW] Szukaj pracy anonimowo — sprawdź szczegóły
Close
Super Mario Bros. jako nowy benchmark dla AI – które modele radzą sobie najlepiej?

Super Mario Bros. jako nowy benchmark dla AI – które modele radzą sobie najlepiej?

Wydawało się, że Pokémon jest trudnym testem dla AI, ale badacze twierdzą, że Super Mario Bros. stanowi jeszcze większe wyzwanie. Hao AI Lab, jednostka badawcza Uniwersytetu Kalifornijskiego w San Diego, przeprowadziła eksperyment, w którym różne modele AI próbowały pokonać kultową grę Nintendo z 1985 roku.

Najlepiej poradził sobie Claude 3.7, tuż za nim znalazł się Claude 3.5, natomiast Gemini 1.5 Pro i GPT-4o napotkały trudności. Super Mario Bros. nie był jednak uruchamiany w oryginalnej wersji – badacze wykorzystali własny emulator GamingAgent, który pozwalał AI przejąć kontrolę nad postacią Mario.

Jak AI radzi sobie w dynamicznym środowisku gry?

Platforma GamingAgent dostarczała modelom AI podstawowe instrukcje, np. „Jeśli w pobliżu jest przeszkoda lub przeciwnik, skocz lub przesuń się w lewo, aby go ominąć”, a także zrzuty ekranu z gry. Następnie AI generowało kod w Pythonie, który sterował postacią w czasie rzeczywistym.

Co ciekawe, badacze odkryli, że modele o silnych zdolnościach rozumowania, takie jak OpenAI o1, miały większe trudności z grą niż modele „nierozumujące”, mimo że zazwyczaj radzą sobie lepiej w standardowych testach.

Czas reakcji ma kluczowe znaczenie. Modele AI potrzebują kilku sekund na podjęcie decyzji, a w Super Mario Bros. taki czas reakcji oznacza przegraną.

Czy gry to dobty test AI?

Od lat gry służą jako testy dla AI, ale eksperci podważają ich przydatność do oceny rzeczywistych zdolności modeli. Gry są abstrakcyjne i stosunkowo proste, a do tego dostarczają teoretycznie nieskończoną ilość danych do treningu.

Andrej Karpathy, badacz AI i współzałożyciel OpenAI, zwraca uwagę na problem z oceną postępów AI:

„Nie wiem, jakie metryki AI są teraz najważniejsze” – napisał na platformie X. „Nie jestem pewien, jak dobre są te modele.”

Choć AI nadal daleko do perfekcji, jedno jest pewne – możemy oglądać, jak Mario uczy się grać samodzielnie. 🚀

Avatar
Cze 27

Apple modyfikuje zasady App Store w UE po karze za naruszenie DMA

Apple wdraża nowy model opłat w App Store na terenie Unii Europejskiej w odpowiedzi na karę w wysokości 500 mln euro za ograniczanie możliwości promowania alternatywnych systemów płatności przez deweloperów. Nowe warunki obejmują dwupoziomową strukturę prowizji, dodatkową opłatę Core Technology Commission (CTC) oraz zmienione zasady promocji ofert wewnątrz aplikacji.
0
Lip 15

UE testuje aplikację do weryfikacji wieku użytkowników online

Komisja Europejska rozpoczęła pilotaż aplikacji do weryfikacji wieku w pięciu krajach: Danii, Grecji, Hiszpanii, Francji i Włoszech. Narzędzie ma pomóc platformom internetowym w skuteczniejszej ochronie małoletnich i spełnianiu wymogów wynikających z Aktu o usługach cyfrowych (DSA), – informuje Komisja Europejska.
0
Cze 26

Meta zrekrutowała trzech naukowców OpenAI

Trzech badaczy pracujących dotąd w zespole OpenAI w Zurychu — Lukas Beyer, Alexander Kolesnikov i Xiaohua Zhai — dołączyło do działu Meta Superintelligence, który zajmuje się rozwojem systemów ogólnej sztucznej inteligencji.
0

Ta strona używa plików cookie, aby zapewnić Ci lepsze wrażenia podczas przeglądania.

Dowiedz się więcej o tym, jak używamy plików cookie i jak zmienić preferencje dotyczące plików cookie w naszej Polityka plików cookie.

Zmień ustawienia
Zapisz Akceptuj wszystkie cookies