La comprensione e il ragionamento su suoni e musica non vocali sono essenziali sia per gli esseri umani che per gli agenti di intelligenza artificiale per interagire efficacemente con i loro ambienti. In questo articolo, introduciamo Audio Flamingo 2 (AF2), un modello audio-linguistico (ALM) con capacità avanzate di comprensione e ragionamento audio. AF2 sfrutta (i) un modello CLAP personalizzato, (ii) dati sintetici di controllo qualità audio per un ragionamento audio dettagliato e (iii) una strategia di apprendimento del curriculum in più fasi. AF2 raggiunge prestazioni all'avanguardia con un modello linguistico di piccole dimensioni con solo 3B parametri, superando grandi modelli open source e proprietari in oltre 20 benchmark. Successivamente, per la prima volta, estendiamo la comprensione audio a lunghi segmenti audio (da 30 secondi a 5 minuti) e proponiamo LongAudio, un ampio e innovativo set di dati per l'addestramento di ALM su attività di sottotitolazione audio e risposta a domande lunghe. La messa a punto di AF2 su LongAudio porta a prestazioni eccezionali sul nostro LongAudioBench proposto, un benchmark annotato da esperti per la valutazione delle capacità di comprensione di ALM su audio lunghi. Conduciamo studi di ablazione approfonditi per confermare l'efficacia del nostro approccio. Sito Web del progetto: https://research.nvidia.com/labs/adlr/AF2/.
Audio Flamingo 2: un modello di linguaggio audio con comprensione audio prolungata e capacità di ragionamento esperto
