Sempre più strumenti di sorveglianza basati su IA vengono introdotti per prevenire abusi e proteggere soggetti vulnerabili, come bambini in affido, anziani e studenti. Tecnologie come il natural language processing e i modelli predittivi promettono infatti di rilevare segnali di pericolo e favorire interventi precoci. Ma errori, falsi allarmi e distorsioni interpretative ne compromettono l’affidabilità, rischiando di rafforzare dinamiche discriminatorie già esistenti.
La principale insidia risiede nei dati storici con cui le IA vengono addestrate, intrisi di disuguaglianze e bias sistemici. Studi recenti mostrano come i modelli possano amplificare le disparità razziali nei servizi sociali o nelle scuole, confondendo il comportamento quotidiano con segnali di rischio. Inoltre, l’adozione di questi sistemi in ambito educativo e sanitario pone questioni urgenti in termini di privacy e dignità.
Per Aislinn Conrad, serve un cambio di paradigma affinché l’AI non riproduca automatismi punitivi, ma diventi uno strumento di cura. Perchè questo sia possibile, è necessario che chi la sviluppa metta sempre al centro la dignità delle persone vulnerabili. Il modello di “trauma-responsive AI” da lei proposto si fonda su quattro principi: controllo da parte degli utenti per decidere come essere monitorati; supervisione umana per ridurre gli errori; audit dei bias per correggere le discriminazioni; privacy by design per proteggere i dati sensibili.
Alcune iniziative in questa direzione mostrano approcci promettenti. Ad esempio, l’organizzazione Coalition Against Stalkerware coinvolge le persone sopravvissute agli abusi nello sviluppo dell’AI, mentre nuove leggi, come quella approvata in Montana nel 2025, impongono trasparenza, supervisione umana e limiti alla profilazione.
L’AI non può sostituire la comprensione umana, ma può rafforzarla, se guidata da principi di cura, equità e responsabilità.
Leggi l’articolo completo: Protecting the vulnerable, or automating harm? AI’s double-edged role in spotting abuse su The Conversation
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (2025).