VIDEOSORVEGLIANZA O CONTRO-SORVEGLIANZA?

Autrice: Francesca Doneda

La legge di Bilancio 2023 prevede un rifinanziamento dell’ammontare di 15 milioni di euro per ciascuno degli anni 2023, 2024, e 2025 finalizzato a potenziare ulteriormente gli interventi in materia di sicurezza urbana. In particolare, la disposizione intende rifinanziare per il triennio 2023-2025 l’autorizzazione di spesa per gli interventi di installazione, da parte dei comuni, di sistemi di videosorveglianza per la prevenzione e il contrasto dei fenomeni di criminalità diffusa e predatoria. 

Ai fini dell’installazione di sistemi di videosorveglianza era già stata autorizzata una spesa di 7 milioni di euro nel 2017 e di 15 milioni di euro per ciascuno degli anni 2018 e 2019. Successivamente, l’autorizzazione di spesa si è incrementata di 10 milioni di euro per l’anno 2019, di 17 milioni di euro per il 2020, di 27 milioni di euro per il 2021 e di 36 milioni di euro per l’anno 2022. 

Dal 2017 in Italia è anche in dotazione alle forze dell’ordine il sistema di videosorveglianza SARI (Sistema Automatico di Riconoscimento delle Immagini). Il software lavora in due diverse modalità: la modalità Enterprise per il riconoscimento di immagini e la modalità Realtime per l’identificazione tramite l’analisi di video. Ad oggi  è attiva solo la modalità Enterprise per il riconoscimento delle immagini, mentre la modalità Realtime, quella finalizzata alla videosorveglianza, è stata oggetto di numerose critiche. 

Il Garante Privacy, in linea con quanto stabilito dal Consiglio d’Europa, ritiene di estrema delicatezza l’utilizzo delle tecnologie di riconoscimento facciale per finalità di prevenzione e repressione reati. In particolare “Sari Realtime realizzerebbe una forma di sorveglianza indiscriminata/di massa […], un trattamento automatizzato su larga scala, che può riguardare anche persone presenti a manifestazioni politiche e sociali, che non sono oggetto di “attenzione” da parte delle forze di polizia” afferma il Garante, sostenendo infine che “segnerebbe un passaggio dalla sorveglianza mirata di alcuni individui alla possibilità di sorveglianza universale”. 

Se questi sono i suggerimenti dell’organo collegiale italiano per la protezione dei dati personali anche in ottemperanza a quanto previsto dall’Unione Europea, come mai la legge di bilancio prevede una voce di spesa espressamente dedicata alla videosorveglianza? E perché non viene fornita alcuna informazione precisa relativa alla tipologia di sistema di videosorveglianza che i comuni potranno introdurre?

L’assenza di tali informazioni rende difficile un’analisi effettiva dei rischi e delle opportunità di tali sistemi. Eppure, il fatto stesso che questa voce di spesa sia inserita nella legge di bilancio non può non suscitare alcune riflessioni. 

L’introduzione di sistemi di videosorveglianza come protagonisti della sicurezza urbana poggia infatti su una concezione precisa della tecnologia e del ruolo che le affidiamo nelle scelte personali e collettive. Un ruolo sempre più centrale, dovuto ad una fiducia sfrenata nei confronti della macchina. Eppure, questa concezione non è priva di limiti. 

Questo è il tema al centro della riflessione, anche se, interrogarsi sul ruolo della tecnologia nelle scelte pubbliche non può non aprire interrogativi anche sul ruolo degli esseri umani e dell’opinione pubblica stessa.

Quale ruolo alla tecnologia?

La tecnologia facilita le nostre vite, semplificando e rendendo immediati procedimenti che fino a qualche decennio fa richiedevano fatica e ore di lavoro. Chiunque possieda un cellulare può accedere all’immenso dominio del sapere umano con un click, può orientarsi in qualsiasi città si trovi, acquistare beni prodotti dall’altra parte del mondo, comunicare con chiunque, in qualunque momento della giornata. Ma questa è solo una piccola parte, ormai così quotidiana da risultare scontata, degli straordinari poteri dei modelli matematici o di quelli che ci vengono presentati come tali.

Nel 1997 Deep Blue, una macchina in grado di giocare a scacchi creata da IBM, è riuscita a sconfiggere Garry Kasparov, campione mondiale indiscusso e, sempre nello stesso anno, dopo aver assistito a un concerto all’Università dell’Oregon, il pubblico non è stato in grado di distinguere la partitura composta da Bach da quella creata artificialmente da un algoritmo realizzato da David Cope. Ma la lista non è finita: ci sono algoritmi in grado di condurre automobili, diagnosticare malattie, prevedere suicidi, catturare criminali, superare il pregiudizio dei giudici nella definizione della sentenza e persino in grado di rintracciare la nostra anima gemella tra tutti gli abitanti del pianeta.

Proprio a causa delle crescenti capacità degli algoritmi, non è raro incontrare esseri umani che non si ricordino a memoria alcun numero di telefono o che non sappiano interpretare autonomamente una cartina: Robert Jones, nel 2009, è persino arrivato a rischiare la vita, ostinandosi a seguire le indicazioni del GPS che mostrava l’esistenza di una strada, quando se avesse semplicemente badato a ciò che gli stava davanti agli occhi, non avrebbe avuto alcun dubbio sul fatto che, nella realtà, non c’era nessuna strada. 

Solo il buonsenso avrebbe potuto salvare Robert, che invece ha sopravvalutato le potenzialità degli algoritmi, per non fare la fatica necessaria a comprendere la realtà. I modelli matematici non sono necessariamente equi, obiettivi e infallibili come siamo spesso portati a credere: per comprendere la realtà, traducono la complessità in una serie di indicazioni binarie, ed è proprio così che ci semplificano la vita. Ma non per questo la vita smette di essere complessa. 

L’eccessiva fiducia nei confronti degli algoritmi si deve in parte alla cattiva informazione: se, ormai, quasi tutti sappiamo usare un cellulare, non si può dire altrettanto per la conoscenza degli algoritmi e del loro funzionamento. Perciò in primo luogo dobbiamo chiederci: che cos’è un algoritmo? 

Si tratta di un procedimento sistematico per risolvere un determinato problema, che consiste in una sequenza finita di istruzioni precise, eseguibili da qualsiasi agente (anche meccanico) le quali infallibilmente conducono alla soluzione in un numero finito di passi.

Anche una ricetta di cucina può essere considerata un algoritmo, ma quando ne parliamo ci riferiamo più spesso a una serie di operazioni matematiche tradotte in linguaggio informatico. 

Alla base del funzionamento di un algoritmo ci sono due tipologie di procedura: per i problemi di cui l’essere umano è in grado di codificare esattamente ogni istruzione in modo chiaro e diretto, troviamo i rule-based algorithms; quando invece la semplice stesura di una lista di istruzioni non basta alla risoluzione del problema, entrano in gioco i machine-learning algorithms, che ispirandosi al modello di apprendimento delle creature viventi sono in grado di arrivare autonomamente al risultato migliore, sulla base di una serie di dati e di un sistema di feedback. 

“Weapons of math destruction”: algoritmi in grado di ferire

Alla luce di queste semplici definizioni, potrebbe già cominciare a svanire la magia che avvolge gli algoritmi e qualcuno potrebbe mettere in dubbio la loro pretesa oggettività: se un algoritmo si limita a eseguire informazioni dettate da un essere umano, o a basare il suo ciclo di feedback su parametri e dati definiti da chi lo ha creato, potrebbe trattarsi  di una semplice codificazione matematica del pregiudizio umano e in ogni caso non potrebbe pretendere di essere considerato più oggettivo di chi lo ha programmato.

Ma c’è chi si spinge oltre nel dubitare della loro oggettività. Cathy O’Neil, per esempio, si impegna nello smascherare e nel definire le cosiddette weapons of math destruction (WMD), algoritmi che, per la portata dei danni che producono, possono essere paragonati alle armi di distruzione di massa. Infatti il minimo margine di errore da parte di un algoritmo, seppur minore dell’errore umano, può tradursi in un danno dalle ricadute infinitamente grandi, proprio per la sua applicazione veloce e massiva: basti pensare agli algoritmi alla base delle operazioni di trading che furono in parte responsabili della crisi finanziaria del 2008. Un esempio di WMD è rappresentato dai modelli di recidivismo diffusi negli Stati Uniti.

Alla base della loro creazione c’è un obiettivo lodevole: ridurre la componente di pregiudizio umano nelle sentenze dei giudici. I Level of Service Inventory-Revised (LSI-R) sono algoritmi in grado di calcolare, sulla base di questionari rivolti ai detenuti, una percentuale della loro possibilità di essere recidivi, così da poter aiutare i giudici nella sentenza, attraverso un parametro scientifico, matematico, oggettivo e uguale per tutti. Questa è la promessa iniziale, ma la realtà è ben altra.

Come abbiamo discusso in precedenza, l’oggettività di un algoritmo è data dalla qualità e dalla tipologia delle informazioni su cui si basa il suo procedimento. Il modello in questione prevede, all’interno del questionario, una serie di domande che vanno a fondo nella vita delle persone, quali il loro primo contatto con le forze dell’ordine o la presenza di precedenti penali in famiglia. Un detenuto di un ambiente sociale privilegiato darà una serie di risposte, mentre saranno di tutt’altra specie quelle di chi appartiene ai bassifondi della società, ed è proprio per questo che tali informazioni non sarebbero ammissibili in un’aula di tribunale. Possiamo già osservare due caratteristiche di una WMD: la prima è l’oscurità, la mancata trasparenza, il detenuto non conosce i parametri in base ai quali verrà valutato nel questionario; la seconda è l’iniquità, infatti è possibile che un detenuto cresciuto in un quartiere malfamato sia stato fermato in giovane età dalla polizia ed è più facile che fra i suoi parenti anche qualcun altro abbia avuto problemi di legalità, finendo così con l’essere penalizzato proprio per questo.

Ma le criticità del sistema continuano. Questo algoritmo genera un pericoloso ciclo di feedback: il detenuto che riceve un alto punteggio nel rischio di recidivismo otterrà una condanna più lunga e una volta libero faticherà a trovare un’occupazione, avendo dunque maggiori possibilità di ritornare a infrangere la legge. L’algoritmo riterrà dunque di aver esaminato correttamente la realtà dei fatti, senza essere consapevole del ruolo che ha giocato nel definirla. Ed è proprio questa la terza caratteristica: la portata. La diffusione delle WMD in molti settori sta introducendo norme generali che hanno un effetto su di noi come se fossero leggi. 

Per comprendere a fondo il meccanismo,  possiamo  osservare l’algoritmo di cui abbiamo appena parlato: per giungere al risultato (un numero che esprime la probabilità che il detenuto torni a infrangere la legge) la macchina analizza le risposte del detenuto inserendole in uno schema ad albero, creato sulla base del comportamento dei detenuti del passato, dei quali sa se hanno infranto nuovamente la legge o meno.

È proprio qui il problema: l’algoritmo sembra pretendere che tutti gli uomini si comportino allo stesso modo, senza considerare che qualcuno potrebbe agire diversamente da quelli che lo hanno preceduto. Partendo da un campione, quello dei detenuti del passato, che non è rappresentativo di tutti i detenuti di oggi e di domani, l’algoritmo genera una risposta che viene considerata un parametro oggettivo e seguita a mo’ di legge dai giudici che elaborano la sentenza. Inoltre, basando il suo ciclo di feedback sempre sullo stesso range di analisi, nel tempo tenderà a sbilanciarsi sempre più in una certa direzione. 

Foreste casuali: un primo passo verso una giustizia più giusta

Questo non è un problema che ci possiamo permettere di eludere, se si tratta di questioni così importanti come le sorti di altri esseri umani e più in generale della nostra idea di giustizia.

Hannah Fry, in Hello World, espone un procedimento che può, in parte, sanare questo problema. L’idea alla base di questo metodo statistico, la foresta casuale, rimane quella dello schema ad albero. Abbiamo visto che, se i dati che abbiamo a disposizione per costruire il modello vengono inseriti in uno stesso schema ad albero, il risultato ottenuto da esso sarà sbilanciato in una direzione. La foresta casuale, formando molteplici schemi ad albero in cui vengono inseriti i dati iniziali (quelli dei detenuti del passato) in maniera casuale, si propone di sbilanciare i risultati in più direzioni: le risposte del detenuto di cui si propone di definire il rischio di recidiva verranno inserite in tutti gli schemi ad albero, generando quindi diversi risultati a seconda dei dati su cui ognuno di essi è stato costruito. L’esito finale sarà quindi sempre un numero, una percentuale, ma che rappresenta la moda di tutti i risultati ottenuti e quindi meno influenzato dall’effettivo comportamento di chi è venuto prima. 

Nonostante questo accorgimento, però, è la stessa Fry a sottolineare che anche algoritmi di questo genere sono fallibili e addirittura contengono errori sistematici, pregiudizi e ingiustizie. 

ProPublica, una testata indipendente online, nel 2016 ha analizzato COMPAS, l’algoritmo che calcola la probabilità di recidivismo dei detenuti in Wisconsin. Dall’analisi è risultato che il programma produce due generi di errori differenti per i detenuti di pelle bianca e per quelli con la pelle nera. Se per i primi è frequente una tipologia di errore definita falso negativo (la macchina prevede erroneamente un basso tasso di recidiva) per i detenuti con la pelle nera gli errori sono sbilanciati nel senso opposto, sono perlopiù falsi positivi (un valore eccessivo nella probabilità di recidiva).

Come mai? Come è possibile che nel Ventunesimo secolo venga preso in considerazione un parametro come il colore della pelle nella definizione della sentenza? In realtà questo non accade o, almeno, non esplicitamente. Non c’è alcuna discriminazione volontaria nel funzionamento dell’algoritmo, quello che pesa sono gli anni di discriminazione che la popolazione americana con la pelle nera ha subito nella realtà. Si tratta di una certezza matematica: il risultato di un algoritmo sarà ineguale, se si basa su una realtà ineguale. In America, infatti, c’è stata, e tuttora permane, una sproporzione negli arresti, con controlli e fermi detentivi di cittadini perlopiù dalla pelle nera. Dal momento che la macchina si basa sui dati riferiti agli arresti, è evidente che il risultato presenterà uno sbilanciamento: l’avere la pelle nera verrà considerato dall’algoritmo come un fattore di rischio. Lo stesso genere di errore sistematico si osserva anche se si considera il sesso dei detenuti: gli uomini vengono arrestati con più frequenza, l’algoritmo tenderà, quindi, a considerare l’essere uomo come un fattore di rischio nella definizione della possibilità di infrangere nuovamente la legge.

Quale ruolo all’essere umano?

Gli algoritmi non sono dunque meccanismi scientifici e per questo perfetti, ma sono meccanismi creati dall’essere umano e per questo fallibili: tutto dipende da come li utilizziamo. Sono armi talmente potenti da mettere in discussione e in difficoltà persino lo stesso ingegno da cui sono nate, quello umano.

Eppure abbiamo, come si suol dire, il coltello dalla parte del manico: l’opinione pubblica può fare la differenza. Se oggi istituzioni dell’Unione Europea e il Garante Privacy si esprimono apertamente pretendendo regolamentazioni lo si deve al fatto che il senso comune si sta facendo sempre più critico nei confronti di mezzi di cui prima non conosceva le reali potenzialità. Proprio per questo la voce di bilancio dedicata ai sistemi di videosorveglianza non può passare inosservata, ma deve essere giustificata. 

Una dicitura così vaga non è accettabile, perché i mezzi con cui abbiamo a che fare hanno una portata massiva. Dobbiamo pretendere una spiegazione dettagliata e trasparente dei sistemi in questione, dei dati analizzati, delle finalità effettive, delle metodologie di utilizzo, dei guadagni economici e dei soggetti che ne sono protagonisti. 

Sono necessarie informazioni tecniche che permettano un’analisi effettiva (come quelle che in passato hanno interessato sistemi come LSI-R e COMPAS) dei costi e dei benefici sociali, in vista di una regolamentazione adeguata e in ultima analisi di un controllo umano, consapevole e collettivo, sulla tecnologia.

Proprio per questo, parafrasando Hannah Fry, l’essere umano non è mai stato così importante, come lo è nell’era degli algoritmi.