Intelligenza Artificiale Tutto su AI e machine learning
Nel 2018, Amazon ha dismesso un sistema AI per il recruiting che aveva sviluppato un pregiudizio sistematico contro le donne: addestrato su 10 anni di curriculum ricevuti — principalmente maschili — il modello aveva imparato che “maschio” era correlato a “buon candidato tecnico”. Nel 2023, un sistema di riconoscimento facciale usato dalla polizia di Detroit ha portato all’arresto erroneo di tre uomini afroamericani, identificati erroneamente come sospettati di reati. I bias nell’intelligenza artificiale non sono un problema teorico o futuro: sono una realtà presente che causa danni concreti a persone reali, oggi.
Cos’è il bias nell’AI: definizione e tipologie
Un bias in un sistema AI è una distorsione sistematica che porta il modello a produrre output ingiusti, inaccurati o discriminatori verso determinati gruppi di persone. È importante distinguere il bias statistico (discrepanza tra il valore stimato dal modello e il valore reale) dal bias sociale (trattamento ingiusto di individui basato su caratteristiche come genere, razza, età o disabilità). Nell’AI etica, ci occupiamo principalmente di quest’ultimo.
Le principali tipologie di bias nei sistemi AI sono: Bias nei dati di addestramento (il tipo più comune): se i dati usati per addestrare il modello sono distorti, il modello apprende e amplifica quella distorsione. Un sistema di concessione del credito addestrato su dati storici che riflettono pratiche discriminatorie imparerà che certi gruppi demografici sono “cattivi debitori”, perpetuando l’esclusione finanziaria. Bias di rappresentazione: certi gruppi sono sottorappresentati nei dati di training, causando performance peggiori per quei gruppi. I sistemi di riconoscimento facciale erano notoriamente meno accurati per persone con pelle scura, perché i dataset di training erano dominati da volti caucasici. Bias di misurazione: le caratteristiche usate come proxy per la variabile target contengono bias impliciti. Usare il codice postale come variabile in un modello di credito introduce un proxy per la razza in paesi con forte segregazione residenziale. Bias di aggregazione: creare un unico modello per gruppi con caratteristiche molto diverse può produrre buone performance medie ma pessime performance per le minoranze.
Come il bias si propaga: dal dato al danno
Il percorso dal dato distorto al danno reale ha diverse tappe. Tutto inizia nella raccolta dei dati: i dati storici riflettono le decisioni e i pregiudizi umani del passato. Se storicamente le donne hanno ricevuto meno prestiti, i dati di training mostreranno che le donne “hanno tassi di rimborso inferiori”, ma questo è un artefatto del campionamento, non una caratteristica intrinseca. Durante il preprocessing, le scelte su come gestire i valori mancanti, normalizzare le feature e selezionare le variabili possono introdurre o amplificare bias. Nella definizione dell’obiettivo, la variabile che si vuole predire può essere essa stessa distorta: “performance lavorativa valutata dai manager” misura la performance ma anche il favoritismo manageriale.
Durante il deployment, il contesto reale può divergere dal contesto di training: un modello di NLP addestrato su testo formale potrebbe performare male su dialetti o varietà linguistiche delle minoranze. Il feedback loop aggrava il problema: se il modello porta a meno prestiti in certi quartieri, i dati futuri confermano che quei quartieri hanno meno accesso al credito, rafforzando il bias nel prossimo ciclo di addestramento.
Metriche di fairness: come misurare il bias
Non esiste una definizione unica matematica di “equità” in un sistema AI — questo è il cuore del problema. Diverse definizioni di fairness sono matematicamente incompatibili tra loro, e la scelta di quale adottare è una decisione etica e politica, non tecnica. Le principali metriche di fairness includono: Demographic parity: il sistema deve avere lo stesso tasso di predizioni positive per tutti i gruppi demografici. Equal opportunity: il sistema deve avere lo stesso tasso di veri positivi per tutti i gruppi. Calibration: le probabilità stimate dal modello devono essere accurate ugualmente per tutti i gruppi.
Il teorema di Impossibilità di Kleinberg (2016) ha dimostrato matematicamente che, in presenza di differenze nelle distribuzioni base tra gruppi, non è possibile soddisfare contemporaneamente le definizioni di calibrazione, bilanciamento dei falsi positivi e bilanciamento dei falsi negativi. Ogni sistema AI deve quindi fare una scelta esplicita su quale definizione di equità prioritizzare — una scelta con implicazioni etiche e legali profonde.
Tecniche per mitigare il bias
Esistono tecniche per ridurre il bias a diversi livelli del pipeline ML. A livello di dati: resampling per bilanciare la rappresentazione dei gruppi; raccolta proattiva di dati più diversificati; audit sistematico dei dati per identificare bias storici; uso di dati sintetici per aumentare la rappresentazione di gruppi sottorappresentati. A livello di modello: vincoli di fairness incorporati nella funzione di perdita durante l’addestramento; adversarial debiasing, che addestra il modello a non essere in grado di predire la variabile sensibile dai suoi output; reweighting degli esempi di training per compensare la sottorappresentazione.
A livello di post-processing: calibrazione separata del threshold di decisione per diversi gruppi demografici; reject option classification, che si astiene dal fare predizioni nei casi borderline dove il rischio di errore è alto. L’approccio più efficace combina tutte e tre le fasi ed è accompagnato da audit esterni continui da parte di entità indipendenti.
Il quadro normativo: AI Act e obblighi di fairness
L’AI Act europeo classifica i sistemi AI di credit scoring, selezione del personale, valutazione scolastica e decisioni in ambito welfare come sistemi ad alto rischio, soggetti a requisiti obbligatori di fairness, trasparenza e supervisione umana. Prima del deployment, questi sistemi devono superare una valutazione della conformità che include analisi del bias. Post-deployment, devono essere monitorati continuamente per identificare bias emergenti. Per ogni decisione automatizzata che impatta significativamente un individuo, deve essere disponibile spiegazione e possibilità di revisione umana. Per approfondire la normativa, leggi la nostra guida completa all’AI Act. Combattere il bias nell’AI non è solo una questione etica: è un imperativo legale e una condizione per costruire sistemi AI che funzionino davvero per tutti.
Diversity e inclusione nel design dei sistemi AI
Una risposta strutturale al problema del bias è portare la diversità nei team che costruiscono i sistemi AI. La ricerca mostra che team più diversi in termini di genere, etnia, background culturale e disciplina accademica identificano più facilmente i bias potenziali durante lo sviluppo, prima che il sistema venga deployato. Google, Microsoft e OpenAI hanno lanciato programmi specifici per aumentare la rappresentanza delle minoranze nei ruoli tecnici AI. In Italia, iniziative come Women in Data Science Italia e AI4People promuovono la partecipazione delle donne e delle minoranze nell’ecosistema AI. Oltre alla diversità nei team, è cruciale coinvolgere le comunità potenzialmente impattate dal sistema nel processo di design e testing — quello che i ricercatori chiamano participatory design. Un sistema AI per la selezione del personale dovrebbe essere testato con input di candidati da tutti i gruppi demografici, con meccanismi di feedback che permettano alle persone danneggiate da decisioni algoritmiche di segnalare problemi. La lotta al bias nell’AI non è un problema tecnico risolvibile una volta per tutte: richiede vigilanza continua, diversità strutturale e accountability pubblica.
Il problema del bias nell’AI richiede approcci multidisciplinari che combinino informatica, sociologia, psicologia, filosofia e diritto. Nessuna disciplina da sola ha gli strumenti per affrontarlo adeguatamente. Le università più avanzate stanno creando corsi e laboratori interdisciplinari di AI ethics che formano ricercatori capaci di operare a questo crocevia. Per le aziende che vogliono costruire sistemi AI equi, il punto di partenza pratico è l’adozione di framework come la Google Responsible AI o la Microsoft Responsible AI Standard, che forniscono linee guida operative per identificare e mitigare il bias lungo tutto il ciclo di sviluppo del modello.
