Lettera aperta alle istituzioni europee

In occasione della giornata europea della protezione dei dati personali (Data Protection Day) del 28 gennaio, non si può non far leva su una annosa questione che attanaglia, in misura diversificata, tutte le società del mondo: la discriminazione delle donne da parte della tecnologia.

Il fenomeno della discriminazione in generale è ancora, purtroppo, fortemente radicato e viene oggi alimentato dall’uso di nuovi strumenti di Intelligenza Artificiale, i quali molto spesso danno luogo a risultati discriminatori nei confronti delle categorie sotto rappresentate.

Questo perché gli algoritmi su cui si basa l’Intelligenza Artificiale assorbono i pregiudizi degli esseri umani, poiché gli stessi sono addestrati sulla base di informazioni che di per sé contengono dei pregiudizi, ossia assunzioni errate che hanno luogo nel processo di apprendimento automatico degli algoritmi.

C’è un gender gap nell’ecosistema privacy? Invertire la rotta si può: ecco gli strumenti

È per questo motivo che le avvocate Anna Cataleta e Sabire Sanem Yilmaz hanno intrapreso una storica iniziativa inviando una lettera aperta sottoscritta da numerose avvocate e professioniste esperte della materia, indirizzata alle più importanti istituzioni europee.

La lettera ripercorre i rischi derivanti dalla diffusione di bias di genere da parte dei nuovi strumenti tecnologici e auspica lo sviluppo di standard internazionali etici, nonché di linee guida in grado di tutelare adeguatamente i diritti e le libertà dei soggetti vulnerabili.

L’obiettivo di tutte le firmatarie è quello di smuovere le coscienze dei legislatori, dei regolatori e dell’industria tutta sui pericoli della discriminazione perpetrata dagli algoritmi dei sistemi di Intelligenza Artificiale nei confronti dei soggetti più vulnerabili: primi tra tutti le donne.

Questa lettera rappresenta un segnale forte e necessario per garantire un mondo e un futuro migliori alle generazioni di donne e professioniste che verranno.

Dpg AI focalizzato sulle donne (Data protection generative AI)

Al Consiglio dell’Unione europea, al Parlamento europeo, alla Commissione europea, all’Autorità italiana per la protezione dei dati e al Garante europeo della protezione dei dati.

26 gennaio 2024

Noi firmatarie siamo un gruppo di donne con background professionali diversi. Siamo professioniste, imprenditrici, manager, ricercatrici, insegnanti, accademiche, dipendenti pubblici, unite dallo studio, dall’attivismo e dal lavoro nel contesto della protezione dei dati. La lettera che scriviamo è il risultato di una riflessione collettiva multiculturale femminile che nasce dalla consapevolezza del fatto che l’umanità si trovi di fronte a un punto cruciale del proprio futuro.

Da sempre, le donne sono una delle categorie di individui vulnerabili che subiscono l’impatto delle trasformazioni sociali. Siamo consapevoli di ciò, pertanto chiediamo l’attenzione dell’intera comunità degli stakeholder e dei legislatori.

Infatti, l’attività legislativa del legislatore, per quanto attenta al tema, non è ancora sufficiente a frenare i possibili utilizzi delle tecnologie di IA a danno di soggetti vulnerabili come le donne, né lo sono gli interventi, l’enforcement e le iniziative giudiziarie a tutela dei diritti lesi, perché questi arrivano dopo che la lesione si è concretizzata e l’individuo vulnerabile è ormai diventato un soggetto leso.

Siamo attente al dibattito internazionale, abbiamo seguito il Vertice sull’AI (la Dichiarazione di Bletchley Park^[1]), la Dichiarazione di Biden, il Processo di Hiroshima del G7. Sembra, dunque, necessaria una più ampia consapevolezza collettiva e vogliamo offrire il nostro punto di vista al dibattito internazionale proprio in occasione della Giornata europea della protezione dei dati personali.

Il punto di vista delle donne è importante da tenere in considerazione, in relazione ai seguenti aspetti:

• pregiudizi dell’intelligenza artificiale nei confronti delle donne;
• impatti sulle pari opportunità;
• discriminazioni contenute nei modelli linguistici di grandi dimensioni;
• impatto delle decisioni automatizzate sulle donne;
• sistemi di intelligenza artificiale progettati tenendo conto delle persone vulnerabili;
• donne e sistemi automatizzati.

Pregiudizio dell’intelligenza artificiale nei confronti delle donne

I pregiudizi di genere da parte dei sistemi di intelligenza artificiale sono ben noti. Si pensi ai motori di ricerca come Google che associano la parola “infermiera” a una donna e la parola “dottore” a un uomo. Problemi simili si sono verificati anche in ChatGPT nell’indicare la professione di una donna quando va in tribunale. Riteniamo che questi problemi debbano essere affrontati a prescindere dal sesso dell’individuo.

Questi episodi di discriminazione da parte degli strumenti di intelligenza artificiale sono accompagnati dal rischio costante per le donne di essere esposte a violenza online, cyber-stalking o bullismo. La conseguenza è quella di allontanare le donne dalle tecnologie, renderle passive e quindi diminuire la loro capacità di utilizzarle correttamente.

Tali eventualità, qualora si concretizzassero, finirebbero per penalizzare la posizione delle donne in un mercato del lavoro sempre più tecnologico, limitando le opportunità di impiego o l’accesso a posizioni meglio retribuite e finendo per incidere sul ruolo delle donne nella società, aumentandone la vulnerabilità.

Le donne stanno già lottando per ottenere il riconoscimento delle pari opportunità in molti settori del mercato del lavoro dominati dagli uomini, e dovranno anche confrontarsi con i pregiudizi dell’intelligenza artificiale. È uno scenario spaventoso.

Per capire l’impatto che l’intelligenza artificiale ha sulle donne quando utilizza dati provenienti da un contesto prettamente maschile, basta citare Carmen Niethammer, che su Forbes ha affermato che le donne che utilizzano veicoli progettati prendendo come riferimento la corporatura maschile sono maggiormente a rischio di incidenti e nemmeno le compagnie assicurative sono in grado di proteggerle a sufficienza.

Impatto sulla parità di genere

Secondo un rapporto dell’Istituto europeo per l’uguaglianza di genere (EIGE)^[2] , il fatto che gli uomini abbiano più peso in professioni come la programmazione e la progettazione di software in questa era tecnologica, dimostra come le donne rimangano in secondo piano nei settori in cui si utilizza la tecnologia.

Una ricerca dell’UE^[3] rivela che quattro donne su cinque non ricevono una formazione tecnologica e il fatto che esse lavorino in settori che non richiedono competenze di codifica indica che i tassi di disoccupazione femminile sono destinati ad aumentare in un futuro in cui il mercato del lavoro richiederà sempre di più il possesso di tali competenze.

Nel 2020, anche una ricerca dell’UNESCO aveva descritto lo stesso rischio nel suo rapporto sull’intelligenza artificiale e l’uguaglianza di genere^[4] , affermando che “gli algoritmi e i sistemi di intelligenza artificiale hanno il potere di diffondere e rafforzare gli stereotipi e i pregiudizi di genere, che rischiano di emarginare le donne su scala globale. Data la crescente presenza dell’intelligenza artificiale nelle nostre società, ciò potrebbe mettere le donne nella condizione di rimanere indietro nella sfera economica, politica e sociale”.

Le discriminazioni contenute nei modelli linguistici di grandi dimensioni

I grandi modelli linguistici e l’intelligenza artificiale generativa, se non curati, possono anche causare una discriminazione diffusa. Infatti, il linguaggio utilizzato da questi sistemi tende a standardizzare i gruppi sociali e a restringere le molteplici prospettive esistenti sulle donne, riducendo la varietà delle loro espressioni a un modello uniforme.

I modelli linguistici non costruiti con cura possono anche promuovere stereotipi, rafforzare i comportamenti di esclusione, generare un linguaggio tossico e mostrare i comportamenti discriminatori presenti in diversi gruppi sociali. Infatti, la presenza di espressioni discriminatorie all’interno del web e del linguaggio naturale con cui vengono addestrati gli algoritmi rischia di riproporre e rafforzare tali espressioni anche all’interno del modello, una volta messo in funzione.

La conseguenza è la perpetrazione di stereotipi e discriminazioni, che produce diversi impatti dannosi sulle donne e su altri gruppi vulnerabili, già soggetti a stereotipi e discriminazioni nella società attuale. Alcune ricercatrici e analiste di dati^[5] a livello internazionale hanno analizzato i set di dati con cui vengono addestrati gli algoritmi alla base dei modelli linguistici più noti e hanno trovato un’etichettatura delle immagini e dei set di dati pieni di pregiudizi e discriminazioni di genere. La costruzione dei set di dati utilizzati per addestrare gli algoritmi dovrebbe essere rivista prima di diffondere i pregiudizi all’interno di altri strumenti di IA.

Di conseguenza, invitiamo gli sviluppatori di queste tecnologie e gli utenti a promuovere in modo proattivo l’adesione ai principi di equità, trasparenza e inclusione per tutti gli individui, compresi i più vulnerabili.

L’impatto sulle donne delle decisioni automatizzate

La discriminazione di genere nei sistemi di intelligenza artificiale si riscontra anche nella discriminazione algoritmica, quando ha un impatto sulla decisione finale del sistema. Esempi di sistemi decisionali discriminatori sono quelli finalizzati alla selezione del personale, addestrati sulla base di curriculum di lavoratori che in seguito si sono rivelati più performanti.

L’output decisionale di tali sistemi ha finito per escludere le donne perché i database con cui gli algoritmi sono stati addestrati consistevano principalmente in curriculum di candidati maschi. Questa circostanza ha rafforzato l’assunto dell’algoritmo secondo cui una donna non può essere una dipendente ad alto rendimento escludendola, quindi, a priori.

Nel sistema decisionale, nel determinare la logica dell’algoritmo, l’appartenenza al genere maschile o femminile deve essere coerente con le politiche decisionali e i principi democratici e di non discriminazione adottati e seguiti dalle organizzazioni.

Ricordiamo le raccomandazioni dell’UNESCO sull’etica dell’intelligenza artificiale già adottate nel 2021^[6] e in particolare che la valutazione etica dei sistemi includa anche una prospettiva trasversale di genere.

Sistemi di intelligenza artificiale progettati tenendo conto delle persone vulnerabili

Accogliamo con favore l’accettazione da parte del Trilogo della valutazione d’impatto sui diritti e le libertà degli individui in relazione alla progettazione di sistemi di IA, che consente ai produttori e agli utenti di sistemi di IA di incorporare salvaguardie per i diritti e le libertà degli individui, compresi quelli vulnerabili, dalla progettazione di sistemi di IA ad alto rischio.

L’approccio che chiediamo a tutti i produttori è di lavorare per escludere che i pregiudizi presenti nella nostra società siano incorporati nei sistemi che stanno progettando, indipendentemente dal livello di rischio del sistema di Intelligenza Artificiale.

Il quotidiano The Guardian ha pubblicato un’inchiesta^[7] sugli effetti degli algoritmi di intelligenza artificiale sui contenuti pubblicati sui social network e ha scoperto che i corpi delle donne sono oggettificati dagli strumenti di controllo delle piattaforme stesse e hanno maggiori probabilità di essere limitati nella loro diffusione, a parità di nudità e di contesto, rispetto alle immagini che ritraggono uomini.

Donne e sistemi automatizzati

Quanto visto sopra in relazione agli effetti discriminatori presenti negli algoritmi, nei modelli linguistici e nei sistemi di IA, è che queste tecnologie non sono state progettate pensando alle donne e alle persone vulnerabili e sono destinate a produrre impatti ancora maggiori quando producono decisioni automatizzate che influenzano la libertà delle donne e degli uomini che le utilizzano^[8] .

Un esempio si è verificato nel Regno Unito, dove una pediatra donna è stata esclusa dall’accesso agli spogliatoi della sua palestra. Analizzando il sistema che regolava l’accesso agli spogliatoi, si è scoperto che la professione di pediatra era riconosciuta dal sistema solo se associata al genere maschile e, di conseguenza, le donne che esercitavano quella professione erano escluse dal diritto di accedere al proprio spogliatoio^[9].

Il rapporto dell’UNESCO sugli impatti dell’IA nella vita lavorativa delle donne^[10] elenca tra gli esempi la riduzione della capacità delle donne africane di accedere al credito a causa dell’uso di sistemi di credit scoring che valutano l’impronta digitale di un individuo. Le differenze nell’uso e nell’accesso delle donne africane a Internet (il cosiddetto digital divide) diventano un fattore discriminante rispetto alla possibilità di ottenere finanziamenti.

Non si può tacere il possibile utilizzo di queste soluzioni tecniche in contesti illiberali: abbiamo visto come i sistemi di monitoraggio dei contenuti online possano essere utilizzati per avvisare le autorità di donne che cercano informazioni sulle pratiche abortive in contesti in cui l’aborto è illegale.

Come si è visto in molti esempi come questo, noi donne siamo bloccate in un sistema automatizzato e dobbiamo, con mestizia, sottolineare che la nostra vulnerabilità sta aumentando ancora di più. L’intelligenza artificiale, più che uno strumento per eliminare la discriminazione, finisce per renderla più acuta.

È quindi necessario ricordare l’articolo 21 della Carta dei diritti fondamentali dell’Unione europea, che vieta “qualsiasi discriminazione fondata, in particolare, sul sesso, sulla razza, sul colore della pelle, sull’origine etnica o sociale, sulle caratteristiche genetiche, sulla lingua, sulla religione o sulle convinzioni personali, sulle opinioni politiche o di qualsiasi altra natura, sull’appartenenza a una minoranza nazionale, sul patrimonio, sulla nascita, sugli handicap, sull’età o sulle tendenze sessuali”.

L’articolo 8 della Carta dei diritti fondamentali dell’Unione europea stabilisce quanto segue:

“1. Ogni persona ha diritto alla protezione dei dati personali che la riguardano.

2. Tali dati devono essere trattati nel rispetto del principio di correttezza per finalità specifiche e sulla base del consenso dell’interessato o di un’altra base legittima prevista dalla legge. Ogni persona ha il diritto di accedere ai dati raccolti che la riguardano e di ottenerne la rettifica.

3. L’osservanza di questi standard è soggetta alla supervisione di un’autorità indipendente”.

L’esigenza di evitare la discriminazione era ben presente nella Convenzione 108 sui sistemi automatizzati e la profilazione. I principi della Convenzione hanno influenzato le direttive più vecchie e la struttura stessa del GDPR, che non possiamo non citare, vista la Giornata europea della protezione dei dati, in cui si celebra l’importanza della protezione dei dati personali e del trattamento equo, un prerequisito fondamentale nella lotta contro la discriminazione.

In quanto donne, ci auguriamo che la previsione di salvaguardie per gli individui vulnerabili protegga anche le donne. Tuttavia, siamo preoccupate per il modo in cui i sistemi di intelligenza artificiale potrebbero esercitare il diritto di rettifica o di opposizione al lato della vulnerabilità della donna.

In proposito, la recente sentenza Schufa^[11] ci illustra come gli algoritmi possano diventare un mondo chiuso e difficilmente accessibile nonostante i diritti degli interessati siano anch’essi riconosciuti.

In alcuni modelli di intelligenza artificiale, può diventare sempre più complesso capire se le donne sono rimaste vulnerabili, cioè se si stia operando una discriminazione nei loro confronti. Occorre affrontare la questione dei controlli periodici degli algoritmi, anche per quanto riguarda la discriminazione.

Non si parla abbastanza, infatti, di ciò che accade dopo che il sistema viene immesso sul mercato e diventa operativo, di come i sistemi crescono e cambiano in seguito ai meccanismi di apprendimento automatico. Si tratta di questioni rappresentate dagli amministratori delegati delle grandi aziende di IA, i quali però hanno anche diminuito gli investimenti nei team incaricati di verificare l’etica dei sistemi decisionali. Si tratta di elementi di preoccupazione che non possiamo non fare nostri.

Conclusioni

La nostra richiesta, in quanto donne firmatarie di questa lettera, è di chiedere ai legislatori, alle autorità di regolamentazione e all’industria tutta di non sottovalutare l’impatto che la discriminazione ha sulle persone vulnerabili, perché un tale errore di calcolo potrebbe danneggiare le nostre democrazie e lo spazio di libertà e di diritto che è alla base della creazione dell’Unione europea e di cui ogni essere umano dovrebbe godere.

Gli impatti su larga scala dei sistemi di IA, infatti, non sono limitati al territorio o al mercato dell’Unione Europea, ma producono effetti su scala globale, come testimonia il dibattito mondiale sull’IA.

Chiediamo all’Unione Europea di assumere un ruolo guida nello sviluppo di standard internazionali che siano etici e linee guida in grado di proteggere i diritti e le libertà delle persone vulnerabili, in modo che attraverso di essi l’intera umanità sia protetta.

Grazie.

Le firmatarie

Anna Cataleta, Avvocato, Senior Partner di Partners4Innovation – A Digital360 Company e Senior Advisor dell’Osservatorio Cybersecurity & Data Protection – School of Management Politecnico di Milano, Presidente di Officine Dati

Sabire Sanem Yilmaz, Avvocato, Autrice, Membro del gruppo di ricerca del Centro per l’IA e la politica digitale, direttore legale del Dipartimento di diritto dell’IA di Tevetoglu

Alessandra Nisticò, Avvocato, Consulente legale presso Partners4Innovation – Società Digital360

Mariaconcetta Oddo, Consulente legale senior presso Partners4Innovation – Società Digital360

Aurelia Losavio, Consulente legale e di comunicazione di Partners4Innovation – Società Digital360

Melissa Marchese, Avvocato, Consulente in materia di privacy e protezione dei dati presso lo Studio legale Gianni & Origoni

Francesca Gravili, Avvocato, Partner e Responsabile del settore Privacy di SASPI- Fieldfisher Global

Anna Italiano, Avvocato, Partner di Partners4Innovation – A Digital360 Company, Senior Advisor di Osservatori Digital Innovation – School of Management Politecnico di Milano

Fernanda Faini, Ricercatrice e docente di Informatica Giuridica – Facoltà di Economia e Giurisprudenza presso l’Università Telematica Pegaso, Funzionario legislativo-giuridico Diritto della PA digitale e delle nuove tecnologie presso la Regione Toscana

Silvia Stefanelli, Avvocato, Fondatrice dello Studio Legale Stefanelli&Stefanelli

Marianna Vintiadis, Fondatrice e Amministratore Delegato di 36Brains, Membro dell’Advisory Board di Transparency International Italia

Laura Liguori, Avvocato, Partner dello Studio Legale Portolano Cavallo, Vice-Presidente di Donne e Tecnologie – Women & Technologies ETS

Ada Fiaschi, Responsabile Protezione Dati del Gruppo presso Italia Trasporto Aereo SPA

Anna Capoluongo, Avvocato Partner Studio Legale Capoluongo, DPO UNI 11697/2017, Membro EDPB’s Support Pool of Experts, Membro Osservatorio sulla Giustizia Civile Tribunale Milano (Gruppo sul danno da illecito trattamento dei dati personali), Afferente Centro di Ricerca B-ASC Univ. Milano-Bicocca, Docente a c. (Università di Padova, Sole24Ore Business School), Vice-presidente I.R.L.E.S.S. (Institut for Research for Law Economical and Social Studies)

Alessandra Luksch, Ingegnere, Direttrice Osservatori Startup Thinking, Digital Transformation Academy Osservatori Digital Innovation School of Management Politecnico di Milano

Selina Zipponi, Avvocato, Esperta di Privacy e Protezione dei dati personali

Cecilia Colasanti, Privacy Expert

Valentina Zecchi, Avvocato, Docente presso European Centre on Privacy and Cybersecurity (ECPC), Co-fondatrice di Privacy She-Leaders

Anna Paola Lenzi, Avvocato, Responsabile Protezione Dati di Gruppo e Responsabile Compliance di TeamSystem

Patrizia Cardillo, Esperta di privacy, già responsabile della protezione dei dati di enti pubblici

Raffaella Costantini, Avvocato, Consulente freelance in materia di privacy e protezione dei dati personali

Valentina Pagnanelli, Avvocato, Privacy Officer, Dottoranda di ricerca in Diritto della Privacy

Irene Pozzi, Avvocato, Group Data Protection Officer di Bending Spoons S.p.A., Co-fondatrice di Privacy She-Leaders

Yağmur Şahin, Avvocato, Consulente in materia di privacy e protezione dei dati personali

Margarita Fandino, Avvocato in Proprietà Intellettuale e Diritto Digitale

Kübra İslamoğlu Bayer, Consulente legale presso Data Privacy Law & Technology

Anna Wyszecka, Avvocato AI, Cloud, Nuove tecnologie

Zeynep Öğretmen Kotil, Avvocato, Diritto della privacy dei dati e dell’IA

Yasemin Kuleyin, Responsabile dei progetti sostenibili Unione Mondiale Turca degli Ingegneri e degli Architetti, Commissioni di lavoro – Presidente della Commissione Ricerca e Sviluppo

Karolina Wilamowska, Avvocato, ELTA

Marta Fraioli, Senior Associate presso PANETTA Studio Legale, PTP Privacy & Technology Professionals, Consulente

1. Governo del Regno Unito, The Bletchley Declaration by Countries Attending the AI Safety Summit, Policy Paper, pubblicato il 1° novembre 2023, disponibile qui ↑

2. EIGE, Artificial Intelligence, platform work and gender equality, pubblicato nel luglio 2022, disponibile qui ↑

3. McKinsey Digital, Women in tech: The best bet to solve Europe’s talent shortage, gennaio 2023, disponibile qui ↑

4. UNESCO, Nuovo rapporto dell’UNESCO sull’intelligenza artificiale e l’uguaglianza di genere, pubblicato il 31 agosto^st 2020, disponibile qui ↑

5. A. BIRHANE, V. U. PRABHU, E. KAHEMBWE, Multimodal datasets: misogyny, pornography, and malignant stereotypes, pubblicato nell’ottobre 2021, disponibile qui ↑

6. UNESCO, Raccomandazione sull’etica dell’intelligenza artificiale, pubblicata nel 2022, disponibile qui ↑

7. G. MAURO e H. SCHELLMANN, There is no standard’: investigation finds AI algorithms objectify women’s bodies, The Guardian, pubblicato l’8 febbraio 2023, disponibile qui ↑

8. M. HEIKKILA, The viral AI avatar app Lensa undressed me-without my consent, su MIT Technology Review, pubblicato il 12 dicembre 2022, disponibile qui ↑

9. A. GUFRAN, The Tech Industry’s Sexism, Racism Is Making Artificial Intelligence Less Intelligent, su The Swaddle, pubblicato il 12 settembre 2019, disponibile qui ↑

10. UNESCO, Gli effetti dell’IA sulla vita lavorativa delle donne, pubblicato nel 2022, disponibile qui ↑

11. Sentenza della Corte (Prima Sezione), causa ‑C634/21, ECLI:EU:C:2023:957, 7 dicembre 2023, disponibile qui. ↑

@RIPRODUZIONE RISERVATA