Un gruppo di ricercatori ha presentato SpikingBrain, una nuova famiglia di modelli di intelligenza artificiale ispirati al cervello umano e progettati per superare i principali limiti di efficienza dei grandi modelli linguistici (LLM). Infatti, gli attuali sistemi basati su Transformer richiedono risorse computazionali enormi: i costi di addestramento crescono in modo quadratico con l’aumento della lunghezza del testo e l’uso della memoria cresce linearmente, rendendo l’elaborazione di contesti molto lunghi lenta e costosa.
SpikingBrain adotta un approccio diverso. Sviluppato sulla piattaforma GPU di MetaX, combina architetture di attenzione lineare e ibrido-lineare con neuroni a spike adattivi, che imitano il funzionamento dei neuroni biologici. Il progetto introduce anche una pipeline di addestramento compatibile con gli LLM esistenti e un’infrastruttura software personalizzata, ottimizzata per hardware non NVIDIA, un ostacolo rilevante per molti gruppi di ricerca.
Più precisamente, sono stati sviluppati due modelli: SpikingBrain-7B, un LLM lineare, e SpikingBrain-76B, un modello ibrido Mixture-of-Experts. Pur essendo stato addestrato con “soli” 150 miliardi di token, ossia molto meno rispetto ai modelli più diffusi, il sistema ottiene risultati comparabili a quelli open source di punta. Le prestazioni sono notevoli, SpikingBrain-7B può gestire sequenze fino a 4 milioni di token con una velocità 100 volte superiore nella generazione del primo output, mantenendo un addestramento stabile su centinaia di GPU MetaX.
Grazie al suo schema a spike, il sistema raggiunge inoltre oltre il 69% di sparsità, riducendo in modo significativo i consumi energetici.
Leggi l’articolo completo: SpikingBrain Technical Report: Spiking Brain-inspired Large Models su arxive.org.
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (16/01/2025).
