L’attention sink non è un bug, ma una feature: una strategia appresa per contenere il caos informativo dei modelli di linguaggio sempre più profondi. Uno studio recente propone una spiegazione radicalmente nuova al fenomeno dell’attention sink, ovvero la tendenza dei Large Language Model (LLM) ad attribuire un’attenzione sproporzionata al primo token di una sequenza (tipicamente il…