Regolamento sull’intelligenza artificiale, il nostro commento
Commento di: Andrea Baldrati, Diego Dimalta, Diletta Huyskes, Matteo Navacci
Abbiamo avuto modo di ottenere una copia del testo della proposta di Regolamento Europeo sull’Intelligenza artificiale. Il testo in nostro possesso risale a gennaio 2021 e non è la versione definitiva – attesa per il 21 aprile.
DISCLAIMER: le considerazioni di questo articolo sono fatte sulla base di una bozza di regolamento risalente a gennaio 2021, e potrebbero risultare obsolete dopo la pubblicazione del testo definitivo (21 aprile 2021).
Per noi si tratta di un documento attesissimo, dato il grande interesse con cui stiamo seguendo il panorama europeo dell’intelligenza artificiale già dallo scorso anno.
D’altronde, come per il GDPR, questo Regolamento è unico nel suo genere, e promette in un modo o nell’altro di impattare drasticamente sul panorama globale dell’intelligenza artificiale.
Per questo, non potevamo esimerci dal fare già alcune valutazioni, che saranno poi approfondite e riviste una volta pubblicata la proposta ufficiale.
Ambito di applicazione
Il Regolamento si rivolge soprattutto ai sistemi di intelligenza artificiale considerati ad “alto rischio”.
Il testo limita invece l’applicazione del Regolamento all’ambito militare. Sfortunatamente, non viene in alcun modo specificato cosa si intenda con “ambito militare”. Parliamo di guerre, operazioni? Cosa dire poi dei cyber attacchi e della cyber difesa? Questa vaghezza potrebbe lasciare spazio per una limitazione dei diritti delle persone proprio in un ambito dove invece dovrebbero essere maggiormente tutelati.
Il legislatore offre una definizione di sistemi ad alto rischio, e l’Allegato 2 ne riporta anche un elenco.
Questi sono divisi in due macro-categorie: da una parte i sistemi per i quali è necessaria una valutazione di conformità di terze parti (audit esterno); dall’altra quei sistemi per cui invece è richiesta un’auto-valutazione di conformità da parte del produttore.
Per citarne alcuni:
- Sistemi usati per determinare l’accesso a istituzioni educative o di formazione, o per valutare gli studenti
- Sistemi usati per la selezione del personale, per promuovere o licenziare il personale, per assegnare compiti e mansioni, e per valutarne le performances
- Sistemi per valutare l’affidabilità delle informazioni fornite da persone fisiche per prevenire, investigare o prevenire reati (i “rivelatori di bugie”)
- Sistemi per l’identificazione biometrica nei luoghi pubblici
Alcune tecnologie saranno espressamente vietate
L’articolo 4 del testo a nostra disposizione indica una lista di sistemi di intelligenza artificiale vietati all’interno dell’Unione Europea, in quanto in violazione dei diritti fondamentali dei cittadini europei.
A prima vista, la decisione è particolarmente importante, perché accoglie le richieste di molte organizzazioni della società civile europea, tra cui anche Privacy Network. Da tempo chiediamo all’UE di tracciare limiti precisi all’uso dell’intelligenza artificiale, vietando del tutto le applicazione pericolose per i diritti delle persone.
Tra le applicazioni vietate troviamo i sistemi per la sorveglianza indiscriminata di massa… ma solo all’apparenza, come vedremo meglio.
Sempre l’articolo 4 prevede il divieto di utilizzare “AI systems designed or used in a manner that manipulates human behaviour, opinions or decisions through choice architectures or other elements of user interfaces, causing a person to behave, form an opinion or take a decision to their detriment”.
Questo divieto, letto insieme alla “clausola di deroga” a fine paragrafo (“The prohibition under paragraph 1, point (a), (b) and (c) shall not apply when such practices are authorised by law and are carried out [by public authorities or on behalf of public authorities”), lascia aperta una terrificante “porta” per l’uso di tecnologie manipolative, purché usate dalle istituzioni pubbliche, e purché autorizzate da una legge.
Speriamo che la versione definitiva possa fare maggiore chiarezza e vietare del tutto queste applicazioni particolarmente pericolose.
Manca poi un divieto per quelle applicazioni di intelligenza artificiale prive di qualsiasi fondamento scientifico, come ad esempio la valutazione dello stato emotivo o della “pericolosità” di una persona sulla base della sua espressione facciale, della sua voce, o del modo in cui si muove. Contestualmente, manca qualsiasi previsione sulle neurotecnologie, che faranno ampio uso di intelligenza artificiale. Sarebbe forse stata un’opportunità per iniziare a delineare già un ambito che sarà centrale nei prossimi anni.
Fine tuning
Da una prima lettura del Regolamento si comprende subito l’importanza dei dati e del processo di sviluppo dell’algoritmo. Si dovrà fare molta attenzione al processo di messa a punto e training, prendendo in considerazione il contesto nel quale l’algoritmo stesso verrà utilizzato. Questo aspetto va rimarcato, perché il fine tuning ha un impatto notevole nel contrastare eventuali bias.
Anche i dataset usati per allenare gli algoritmi sono oggetto di specifiche disposizioni, che ne individuano alcuni importanti standard qualitativi. L’articolo 8, infatti, si riferisce interamente ai “dataset” di quei sistemi che prevedono l’utilizzo di dati per addestrare i modelli. I dataset dovranno essere di altà qualità, robusti, privi di bias e non produrre effetti prevedibilmente indesiderati.
Il problema, però, sta proprio nel fatto di identificare i dati come unica fonte di potenziali problemi e di bias: come dimostrato e sostenuto da molti esperti di ML e fairness (questo un esempio recente), i bias possono emergere ovunque nel ciclo di vita di un modello, e i dati di training sono solo una delle possibili cause. Le scelte progettuali, gli scopi prefissati, il design influiscono direttamente sul danno finale. Non riconoscerlo non permette di individuare le necessarie tecniche di mitigazione.
Tracciabilità e trasparenza
Gli articoli 9 e 10 prevedono specifici obblighi di tracciabilità e trasparenza nei confronti dei produttori. I sistemi di intelligenza artificiale ad alto rischio devono essere sviluppati per assicurare che gli output siano tracciabili e verificabili in ogni momento del ciclo di vita del sistema, anche attraverso la generazione automatizzata di log. Allo stesso tempo, ogni sistema deve anche essere pensato e sviluppato per assicurare che le operazioni siano sufficientemente trasparenti e comprensibili, per assicurare che gli utenti siano in grado di capire come il sistema produce i suoi output.
In pratica, si potrebbe parlare di tracciabilità e trasparenza by design
Alcuni obblighi di trasparenza si applicano anche ad altri sistemi di intelligenza artificiale. Ad esempio, ogni sistema di intelligenza artificiale che interagisce con persone fisiche dovrà essere pensato e sviluppato in un modo tale da rendere noto alle persone che stanno interagendo con un sistema di IA.
Le persone dovranno poi essere sempre avvertite di essere sottoposte a sistemi di valutazione dello stato emotivo o sistemi di classificazione.
Infine, ci sono obblighi specifici di trasparenza che obbligano gli utenti che usano sistemi di creazione o modificazione di immagini, video, audio di dichiarare che i contenuti sono manipolati artificialmente. Questo obbligo è chiaramente indirizzato a cercare di arginare il fenomeno dei “deepfakes”.
La filiera dell’intelligenza artificiale
Un altro spunto interessante lo riscontriamo sul tema del tracciamento della filiera, che in questo ambito, ha una importanza cruciale.
Il Regolamento prevede una serie di figure (provider, authorised representative, importer, distributor, user,) che, a vario titolo, assumono precisi obblighi e adempimenti da rispettare. Questa è una buona notizia, perché similmente a quanto accade già con il GDPR, responsabilizzare ogni soggetto della filiera può arginare i rischi per le persone e pericolosi scarichi di responsabilità.
Tra i vari obblighi, vale la pena menzionare quello rivolto ai produttori, per l’auto-valutazione del sistema di intelligenza artificiale. I produttori a seguito di questa valutazione dovranno dimostrare il rispetto del Regolamento attraverso una dichiarazione europea di conformità.
Anche agli importatori di sistemi di intelligenza artificiale sono oggetto di specifici obblighi. Se il sistema importato risulta sprovvisto della dichiarazione di conformità, o se l’importatore ha ragione di credere che il sistema non sia conforme al Regolamento, ha l’obbligo di non distribuirlo nel mercato. Oltre a questo, l’importatore che ritiene che il sistema possa presentare un rischio, ha l’obbligo di informare il produttore e le autorità competenti.
Per quanto nobile negli intenti, il rischio di questo approccio è che gli importatori non però siano in grado di valutare i rischi senza il supporto del produttore, finendo così per immettere comunque nel mercato interno prodotti pericolosi.
Il Regolamento si rivolge a tutta la filiera, e forse per la prima volta anche gli “utenti” sono oggetto di attenzione, anche se sembra quasi certo che il termine non sia da riferire agli utenti “consumatori”. L’art 4, recita infatti: “user’ means any natural or legal person, public authority, agency or other body under whose authority and responsibility the AI system is used, except where the use is in the course of a personal or transient activity […]”. Il nodo sarà capire se quel “under whose authority and responsibility the AI system is used, except where the use is in the course of a personal or transient activity” riguarderà la sola casistica citata per ultima, oppure tutte.
Quando l’algoritmo continua a imparare
Il Regolamento si dimostra attento alla fase successiva all’immissione sul mercato dei sistemi di intelligenza artificiale, soffermandosi anche sulla fase di monitoraggio “post-release”. Un aspetto decisivo, soprattutto nei casi in cui l’algoritmo continua a imparare durante il suo utilizzo (come tutti gli algoritmi odierni più avanzati).
Vendere un algoritmo e dimenticarsene non sarà quindi più possibile, e si dovrà procedere a periodiche valutazioni di impatto e assessment per accertare, dopo una fase di learning dell’algoritmo, che lo stesso sia ancora conforme ai requisiti del Regolamento.
La sorveglianza biometrica
Chi ci segue sa che ormai da diverso tempo siamo impegnati, insieme a molte altre organizzazioni, in una campagna europea per bloccare la diffusione dei sistemi di intelligenza artificiale per la sorveglianza biometrica nei luoghi pubblici.
Questi sistemi non sono stati vietati del tutto, ma espressamente disciplinati dal Titolo V del Regolamento, che prevede dei limiti per il loro utilizzo, oltre a un meccanismo di autorizzazione per il loro uso.
I sistemi di identificazione biometrica dovranno infatti essere singolarmente approvati e autorizzati dalle autorità di supervisione per la protezione dei dati. In Italia, dal Garante Privacy.
L’autorizzazione è basata sulla valutazione d’impatto (DPIA), che deve includere elementi aggiuntivi rispetto a quelli previsti dal GDPR, come ad esempio l’accuratezza prevista del sistema usato e le misure adottate per proteggere i gruppi più vulnerabili di persone.
La DPIA diventa quindi lo strumento principale per approvare o meno i sistemi di identificazione biometrica.
Una volta accertato il rispetto dei requisiti previsti dal Regolamento, l’Autorità pubblica una sintesi del sistema che ne descrive lo scopo, almeno 15 giorni prima di prendere una decisione definitiva. Lo scopo è quello di agevolare lo scrutinio pubblico e la trasparenza di questi sistemi.
Questo significa che nella pratica le città non potranno decidere in autonomia e arbitrariamente di installare sistemi di identificazione biometrica, come già accaduto anche in Italia. In ogni caso, sarà necessaria l’autorizzazione da parte dell’Autorità Garante.
La proposta ufficiale di Regolamento sarà presentata il 21 aprile 2021. Ci riserviamo di approfondire ulteriormente lo studio della proposta dopo quella data ed eventualmente di integrare questo articolo.
