Un gruppo di ricercatori dell’Università della California di San Diego ha utilizzato Super Mario Bros per testare le capacità delle IA, scoprendo che i modelli più avanzati di ragionamento si trovano in difficoltà nei giochi in tempo reale.
Il laboratorio Hao AI Lab ha messo alla prova diversi modelli attraverso GamingAgent, un framework che consente alle IA di controllare Mario generando comandi in codice Python. I risultati hanno visto Claude 3.7 di Anthropic ottenere le migliori prestazioni, mentre Gemini 1.5 Pro di Google e GPT-4o di OpenAI hanno faticato.
Secondo i ricercatori, i modelli di ragionamento, pur eccellendo in altri test, hanno mostrato limiti nei giochi d’azione a causa del tempo necessario per elaborare una strategia. Nei giochi platform come Super Mario Bros in cui il tempismo è cruciale, anche un ritardo di pochi secondi può compromettere il successo.
L’uso dei videogiochi come banco di prova per l’IA non è nuovo, ma alcuni esperti ne mettono in discussione l’efficacia. Andrej Karpathy, ricercatore di OpenAI, ha parlato di una “crisi di valutazione” nel settore, evidenziando l’incertezza sulle metriche da considerare per misurare le reali capacità di questi modelli.
Leggi l’articolo completo: People are using Super Mario to benchmark AI now su techcrunch.com.
Immagine generata tramite DALL-E 3.
