I modelli linguistici di grandi dimensioni (i LLM) offrono prestazioni avanzate grazie al numero elevato di parametri, ma il loro sviluppo richiede risorse economiche ed energetiche significative.
Per ridurre questi costi, i ricercatori stanno sviluppando modelli più piccoli, che utilizzano solo alcuni miliardi di parametri. Pur non essendo versatili come i modelli più grandi, possono svolgere compiti mirati, come la sintesi di testi o l’assistenza sanitaria, con un’efficienza elevata.
Infatti, esistono delle tecniche come la distillazione della conoscenza, che utilizza dati già elaborati dai modelli più grandi, e la potatura delle reti neurali, che elimina componenti superflue, che migliorano le prestazioni dei modelli piccoli senza comprometterne la qualità.
Questi modelli, meno costosi e più trasparenti nel funzionamento, consentono ai ricercatori di sperimentare nuove soluzioni con rischi e risorse ridotti.
Leggi l’articolo completo: Why Do Researchers Care About Small Language Models? su quantamagazine.org.
Immagine generata tramite DALL-E 3, 2025.
