Con l’avanzare della tecnologia, l’aspettativa è che la potenza di elaborazione cresca. Tuttavia, Dave Bennett (DaveBben su GitHub) sta esplorando un’area innovativa: l’esecuzione di grandi modelli linguistici (LLM) su hardware limitato. In un contesto in cui modelli come GPT-4 richiedono enormi risorse, DaveBben ha dimostrato che è possibile far funzionare un LLM su un computer significativamente meno potente, l’ESP32.
Per adattare il modello al ridotto hardware, il set di dati è stato drasticamente semplificato, passando da miliardi di parametri a soli 260.000. Questo è reso possibile grazie all’uso di ESP32-S3FH4R2, un microprocessore con 1 MB di RAM e una velocità di clock di 240 MHz, paragonabile a un vecchio chip Pentium.
Nonostante le limitazioni, il progetto dimostra che è fattibile eseguire un LLM anche su hardware modesto. Sebbene il processore ESP32 non possa gestire compiti complessi, il risultato è un interessante esempio di come l’ottimizzazione del software possa rendere praticabili soluzioni altrimenti impensabili.
Leggi l’articolo completo: LARGE LANGUAGE MODELS ON SMALL COMPUTERS su hackaday.com.
Immagine generata tramite DALL-E 3.
