OpenAI ha condiviso i risultati di uno studio sui pregiudizi nei LLM rivelando che ChatGPT può generare stereotipi di genere o razza in una risposta su 1000, con un tasso che arriva anche a una su 100 nel peggiore dei casi. Sebbene queste percentuali sembrino basse, considerando che 200 milioni di persone utilizzano ChatGPT ogni settimana, il problema dei bias può avere un impatto significativo. I pregiudizi nei chatbot si aggiungono a quelli già documentati nelle applicazioni di IA, come l’analisi di curriculum o le richieste di prestito.
Lo studio ha esaminato milioni di conversazioni reali avvenute su ChatGPT. OpenAI ha utilizzato GPT-4o per analizzare i modelli di conversazione senza compromettere la privacy degli utenti. In una fase successiva, i ricercatori hanno condotto esperimenti riproducendo richieste reali con nomi diversi per verificare la presenza di stereotipi. Ad esempio, in risposta alla richiesta di creare titoli di YouTube, ChatGPT ha generato suggerimenti legati a stereotipi di genere.Un altro esempio ha mostrato come l’abbreviazione “ECE” venisse interpretata diversamente in base al genere apparente del nome, generando risposte riguardanti l’educazione della prima infanzia per “Jessica” e progetti di ingegneria elettrica per “William”.
I risultati mostrano che i modelli più recenti di OpenAI, come GPT-4o, hanno ridotto i tassi di bias allo 0,1%, rispetto a GPT-3.5 Turbo, che presentava tassi fino all’1%.
Gli studiosi di OpenAI hanno definito il concetto di “equità in prima persona”, studiando come i modelli interagiscono con singoli utenti, distinto dall’approccio tradizionale di equità “in terza persona”, che riguarda l’analisi dei dati senza considerare informazioni personali dirette. Adam Kalai, uno dei ricercatori, ha sottolineato come questo aspetto sia ancora poco esplorato.
Leggi l’articolo completo: OpenAI says ChatGPT treats us all the same (most of the time) su technologyreview.com.
Immagine generata tramite DALLE-3
