Il concetto di “legge di scalabilità” nell’IA sta subendo un significativo cambiamento. In passato, le leggi matematiche che regolavano la scalabilità dei modelli di IA sembravano garantire miglioramenti esponenziali con l’aumento di dati, parametri e capacità computazionale. Tuttavia, recenti sviluppi nel settore suggeriscono che le performance attese non si allineano più con queste leggi, portando a una revisione del paradigma. I modelli su larga scala, nonostante le aspettative, non mostrano sempre i progressi previsti.
Microsoft, attraverso il CEO Satya Nadella, ha introdotto una nuova interpretazione della scalabilità, che include tre variabili: la durata dell’addestramento, il tempo necessario per il fine-tuning e il calcolo del tempo di inferenza, ma queste non sono vere “leggi” matematiche. Sono semplici generalizzazioni empiriche, soggette a limiti e incertezze. Mentre i nuovi approcci promettono risultati migliori in contesti specifici, come problemi chiusi e sintetici, non sembrano essere altrettanto efficaci in scenari più complessi.
Il concetto di scalabilità sta quindi perdendo la sua forza predittiva, trasformandosi in una strategia di “provare e vedere”fatta di tentativi, piuttosto che in una regola certa. Gary Marcus prevede un futuro in cui i modelli linguistici di grandi dimensioni (gli LLM) saranno solo una parte della cognizione artificiale, senza però mai rappresentare la soluzione definitiva.
Leggi l’articolo completo: A new AI scaling law shell game? su garymarcus.substack.com.
Immagine generata tramite DALL-E 3.
