Le aziende di IA stanno puntando sempre di più sulla tecnica della “distillazione” per sviluppare modelli più economici e accessibili, riducendo i costi senza compromettere troppo le prestazioni.
Questa tecnica, già nota nel settore, è tornata al centro del dibattito dopo che DeepSeek l’ha utilizzata per creare modelli basati su sistemi open source di Meta e Alibaba. Con questa mossa, l’azienda cinese è riuscita a far mettere in discussione il predominio della Silicon Valley, causando perdite in borsa per le big tech non indifferenti (vedi il caso di Nvidia).
La tecnica della distillazione della conoscenza necessita prima di tutto di un grande modello linguistico, il cosiddetto “insegnante”, per generare dati che, poi, vengono usati per addestrare un modello “studente” più piccolo, rendendolo più efficiente e meno dispendioso in termini di risorse. OpenAI, Microsoft e Meta stanno sfruttando questa tecnica per offrire soluzioni più accessibili, con Microsoft che ha già “distillato” GPT-4 per sviluppare la famiglia di modelli Phi. Tuttavia, OpenAI sospetta che DeepSeek abbia utilizzato i suoi modelli in violazione dei termini di servizio, riaccendendo il dibattito sulla protezione della proprietà intellettuale.
Sebbene i modelli distillati siano meno costosi e più veloci, la riduzione delle dimensioni comporta una perdita di capacità. Secondo gli esperti, questi modelli risultano ideali per applicazioni specifiche come chatbot o assistenti virtuali, ma non per compiti complessi. Il loro crescente utilizzo, inoltre, mette sotto pressione il modello di business delle grandi aziende AI, che traggono profitto dai modelli più costosi e avanzati.
La distillazione, tuttavia, avvantaggia anche l’open source. Infatti, permette agli sviluppatori di migliorare rapidamente i sistemi AI.
Leggi l’articolo completo: AI firms follow DeepSeek’s lead, create cheaper models with “distillation” su arstechnica.com.
Immagine generata tramite DALL-E 3, 2025.
