La società automatizzata: la diffusione degli ADM in Italia
Articolo di: Diletta Huyskes
Una delle poche certezze largamente condivise di questo incredibile momento storico è che la pandemia ha accelerato inesorabilmente l’automatizzazione della nostra società.
Alla televisione sentiamo parlare quotidianamente di digital divide, smartworking, contact tracing e didattica online. Sembrano cresciute leggermente anche le notizie che parlano di intelligenza artificiale, algoritmi e robotica.
Ciò che non è chiaro, tuttavia, è che la nostra società stava già seguendo questa direzione da ben prima dell’inizio della condizione pandemica.
L’acronimo inglese ADM sta per automated (o algorithmic) decision-making, e indica una serie di processi a base algoritmica in grado di prendere decisioni autonome senza il coinvolgimento umano. Gli ADM rientrano nella più ampia categoria di tecnologie di intelligenza artificiale (IA), e si basano quasi interamente su algoritmi di machine learning (ML).
Per machine learning si intende ogni metodologia e insieme di tecniche che utilizzano dati per elaborare nuovi modelli e conoscenze, che vengono poi utilizzati per fare previsioni future in base ai dati forniti.
La caratteristica più importante del machine learning è la capacità di apprendere attraverso l’esperienza.
Un algoritmo, per poter prevedere situazioni future, non ha bisogno dell’intervento o della guida umana ad ogni sua applicazione, ma impara autonomamente in base alle scelte passate e ad un set di dati iniziale.
I processi decisionali automatizzati (ADM) che lavorano grazie ad algoritmi di machine learning hanno un impatto – diretto o meno – su ognuna delle nostre vite, sia pubbliche, che private.
Partecipazione democratica, sicurezza e controllo, sanità, istruzione e giustizia, servizi bancari, lavoro, viaggi, ricerche online… sono solo alcuni dei numerosissimi campi dove già sono applicati algoritmi di machine learning.
Dietro ad una decisione che viene presa sul nostro conto, spesso sono all’opera dei sistemi non-umani che velocizzano il processo, grazie alla loro rapidità di calcolo e capacità di incrocio di moltissimi dati.
I problemi derivanti dall’uso di ADM
Nonostante la diffusione ormai capillare di questi sistemi, però, sono molte le criticità che li riguardano e di cui la maggior parte delle persone non sa quasi nulla.
Viene ormai quotidianamente dimostrata – anche da parte nostra – la tendenza di questi algoritmi di machine learning a discriminare alcune categorie di cittadini e cittadine in base al genere, alla provenienza, o alla classe sociale.
Alcuni dei casi più comuni di discriminazione riguardano la scelta di concedere o meno un prestito, di assegnare una posizione lavorativa o una terapia sanitaria.
In alcuni casi la discriminazione è perfino “razziale” o di genere.
Alcuni algoritmi di riconoscimento facciale non riconoscono i volti di persone di colore. In altri casi gli algoritmi evitano di proporre alcuni contenuti alle donne, o respingono richieste di candidatura da parte di donne in modo automatizzato, considerandole inadatte a svolgere determinati lavori.
Un altro aspetto preoccupante riguarda però la totale mancanza di informazioni che ruota intorno a questi sistemi. La loro implementazione, infatti, viene raramente passata al vaglio dei Parlamenti e degli strumenti democratici, e la vastità del loro utilizzo non viene quasi mai specificata.
Di conseguenza, i cittadini e le cittadine non sono informati riguardo al loro impiego e la loro presenza nella propria routine, creando gravi problemi di trasparenza.
In un report annuale uscito da pochi giorni, l’organizzazione tedesca AlgorithmWatch colma il vuoto informativo e indaga molti dei sistemi ADM recentemente introdotti in Europa.
Come scrive Fabio Chiusi, di AlgorithmWatch, emerge chiaramente il loro incredibile aumento durante l’ultimo anno, che determina la loro presenza in ormai ogni settore della vita umana.
“Grade my work, not my postcode”
Un’immagine molto significativa è quella degli studenti inglesi che in Agosto hanno protestato tra le vie di Londra contro un algoritmo introdotto dall’Office of Qualifications and Examinations Regulation (Ofqual).
L’idea era quella di assegnare i voti relativi all’anno accademico appena finito con un criterio il più razionale possibile, senza tenere conto della situazione dovuta alla pandemia e senza ottimismi o sentimentalismi da parte dei professori.
Il risultato è stato drammatico: moltissimi studenti hanno fallito l’anno, o ottenuto risultati estremamente peggiori rispetto agli anni precedenti. La standardizzazione ha penalizzato soprattutto gli studenti che provenivano dai contesti socioeconomici più svantaggiati. Alla fine, le predizioni dell’algoritmo sono state scartate e reintrodotti i voti assegnati dagli insegnanti.
E l’Italia?
Nonostante la maggior parte dei cittadini italiani ritenga di vivere in un paese tecnologicamente arretrato, in Italia si parla di ADM e del loro possibile utilizzo molto più spesso di quanto pensiamo.
Uno dei primi casi noti all’opinione pubblica riguarda la riforma Buona Scuola del 2015, che prevedeva l’impiego di un algoritmo – dal costo di 444,000€ – per assegnare migliaia di docenti a diversi istituti scolastici in base al loro punteggio e alle preferenze espresse. L’idea era di garantire ad ognuno il match migliore possibile.
L’algoritmo in molti casi ha spedito insegnanti dall’altra parte del Paese, nonostante la preferenza per regioni limitrofe da loro indicata, che doveva essere considerata dato il loro alto punteggio.
Grazie ad una perizia tecnica preliminare, sono emerse la totale inadeguatezza e ingestibilità del sistema, il cui codice era “pieno di bug che potevano causare errori, come quelli accaduti”.
Moltissimi docenti hanno presentato ricorso dopo la decisione presa dall’algoritmo e in particolare due sentenze si sono espresse in maniera decisiva sull’argomento, evidenziando l’illegittimità delle variabili
considerate dall’algoritmo.
Entrambe del 2019, le sentenze del Consiglio di Stato e del TAR del Lazio hanno determinato come questi processi automatizzati abbiano portato a discriminazioni che hanno fortemente impattato la vita personale dei docenti coinvolti e impiegati nella pubblica istruzione.
Il Consiglio di Stato, inoltre, ha stabilito che «l’automazione dei processi decisionali può essere realizzata solo nei casi in cui questi processi non comportano alcun “giudizio discrezionale” da parte del sistema, le cui decisioni devono sempre essere in ultima analisi il risultato del giudizio umano»
Gli ADM iniziano ad essere impiegati anche in ambito giudiziario e fiscale
Sono diversi i progetti che grazie al machine learning dovrebbero alleviare il carico di lavoro di tribunali e ricercatori, dando la possibilità di accedere a dei database di sentenze raggruppate in base ad un oggetto specifico ad indicare dei trend giurisprudenziali.
Si tratta di giurisprudenza predittiva, dato che uno degli obiettivi è quello
di analizzare le decisioni precedenti su casi simili e, sulla base di queste, fare predizioni per le decisioni future. In altri casi, invece, il machine learning può prevedere la lunghezza di una causa e addirittura la probabilità che un ricorso venga accettato o rigettato.
L’istituzione degli Indici sintetici di affidabilità (ISA) dimostra una fiducia verso gli ADM anche in ambito fiscale.
Il sistema assegna un punteggio da 1 a 10 che indica il livello di affidabilità fiscale, imponendo dei controlli più rigorosi su chi ottiene un punteggio troppo basso. Uno strumento simile è l’Evasometro Anonimizzato (si, si chiama davvero così), in cui l’algoritmo si impegna ad incrociare i dati in possesso alle diverse autorità fiscali italiane per rilevare contraddizioni e anomalie.
A quanto pare, però, l’algoritmo si occupa di analizzare dati che vanno ben oltre la sfera fiscale. Un uomo è stato costretto a pagare le spese di sostentamento alla sua ex moglie a causa di alcuni post su Facebook che descrivevano uno stile di vita palesemente incompatibile con gli 11.000 euro di reddito da lui dichiarati nell’anno precedente.
I problemi più allarmanti rimangono comunque la disinformazione e la mancanza di trasparenza.
Quanti italiani sono a conoscenza del Sistema Automatico Riconoscimento Immagini (SARI), in dotazione agli organi di polizia?
Si tratta di una tecnologia di riconoscimento facciale che si occupa di abbinare i volti di sospettati (ricavati da videocamere sparse sul territorio nazionale) con dei database contenenti le immagini dei cittadini e delle cittadine.
In mancanza però di un’informazione adeguata rispetto all’esistenza e all’impiego specifico di questo sistema, risulta molto difficile poterlo monitorare democraticamente.
Il riconoscimento facciale, o la “nuova frontiera dell’antirazzismo”
Come Fabio Chiusi fa notare nella parte del report dedicata all’Italia, il riconoscimento facciale è improvvisamente dappertutto.
Senza contare i progetti sperimentali inaugurati negli aeroporti di Linate,
Roma Fiumicino e Napoli, un’inchiesta di Wired di poco tempo fa ha evidenziato l’impiego di diverse videocamere dotate di riconoscimento facciale nella città di Como.
Altre città come Bologna, Torino, Roma e Udine hanno dimostrato interesse a fare lo stesso. Ma su quali basi?
L’utilizzo di queste tecnologie, in mancanza di una legge di autorizzazione che preveda adeguate garanzie per i cittadini, è illegittimo. Anche il Garante Privacy si è già espresso a riguardo.
Ciononostante, Il Ministero per le Politiche giovanili e lo Sport, insieme ad alcuni rappresentanti del settore calcistico, ha pensato di porre rimedio al serio problema di razzismo negli stadi e in molti gruppi ultras italiani attraverso un sistema di riconoscimento facciale e vocale.
Questa tecnologia, da disporre all’interno degli stadi, dovrebbe prima identificare le conversazioni e i linguaggi razzisti, per poi identificare i volti di chi li pronuncia attraverso delle videocamere. Viene da pensare che le riprese verrebbero poi incrociate con i database a disposizione delle forze dell’ordine, per risalire all’identità dei “sospetti”.
Il presidente della FIGC Gabriele Gravina supporta questo progetto di identificazione real- time, pur affermando che potrebbe causare dei problemi in merito alla rispetto della normativa privacy.
I diritti delle persone non possono assolutamente passare in secondo piano, tenendo conto che chiunque varchi gli ingressi degli stadi sarebbe automaticamente sottoposto a questa tecnologia.
Si parla sempre di più della tendenza di molti sistemi di riconoscimento facciale e biometrico a discriminare in base al colore della pelle, e negli Stati Uniti negli ultimi mesi due uomini sono stati addirittura arrestati ingiustamente solamente perché un algoritmo ha collegato le loro identità a delle riprese video che in realtà non corrispondevano affatto.
Il dipartimento di polizia di Detroit, coinvolto direttamente nei casi, ha dichiarato che il sistema in loro dotazione fallisce il 96% delle volte. Ciononostante, l’Italia punta ad utilizzare la stessa tecnologia come “nuova frontiera dell’antirazzismo”. Cosa potrebbe andare storto?
Al momento molte di queste tecnologie non sono ancora completamente funzionanti, ma quando lo saranno sarà necessario richiedere un resoconto preciso del loro utilizzo, che risponda a tutti i requisiti dettati dai principi di affidabilità e centralità umana.
Soprattutto, sarebbe necessario spingere verso una discussione democratica dell’adozione degli ADM.
È il momento che le cittadine e i cittadini italiani ricevano informazioni esaustive riguardo l’utilizzo di questi sistemi, e che possano anche
decidere se fornire il proprio consenso e accettare il loro funzionamento.
Questo articolo rappresenta una libera traduzione della sezione dedicata all’Italia del report Automating Society 2020 di AlgorithmWatch.
