Character.AI consente di creare compagni virtuali, dotati di IA, con cui poter avere interazioni, anche dall’apparenza intime.
Uno dei problemi è che la piattaforma raccoglie dati da giovani, alcuni dei quali attraversano momenti emotivamente difficili. Questo processo ha suscitato preoccupazioni per i rischi legati alla salute mentale degli adolescenti, con alcuni casi di autolesionismo documentati dopo conversazioni con i chatbot della piattaforma. Nonostante l’azienda abbia implementato misure di sicurezza come modelli apposta per adolescenti, la verifica dell’età rimane insufficiente e facilmente aggirabile.
In risposta a queste problematiche, risulta necessario un intervento su tre fronti: regolamentazione dei prodotti digitali per giovani, sviluppo etico dell’IA e alfabetizzazione sull’IA nelle scuole. Gli esperti sottolineano l’importanza di test rigorosi per i prodotti EdTech, di pratiche di sviluppo che non sfruttino vulnerabilità emotive e di una formazione adeguata per i giovani sull’uso consapevole dell’IA.
Leggi l’articolo completo: Character.ai’s Ethics Problem: Training AI on Teen Trauma su nickpotkalitsky.substack.com.
Immagine generata tramite DALL-E 3.
