Autore: Matteo Navacci

Apple ha recentemente annunciato che i nuovi sistemi operativi supporteranno alcune nuove funzionalità orientate alla tutela dei minori e al contrasto della pedopornografia online.

Oltre le belle parole si nascondono però dei gravi pericoli per chiunque abbia un iPhone e per gli stessi minori che si vogliono tutelare. I principali sistemi interessati sono iMessages e iCloud.

iMessages

L’app di messagistica di Apple avrà una nuova funzionalità per avvertire i minori ogni volta che ricevono immagini “esplicite”. Il software, dopo aver offuscato l’immagine, chiederà se il minore vuole comunque visualizzare l’immagine, spiegando che in quel caso saranno avvertiti i suoi genitori – attraverso una notifica automatica sul Family Account.

Questa nuova funzionalità all’apparenza può sembrare ragionevole e utile a tutelare la sensibilità delle persone più giovani, ma nasconde diversi problemi ne annullano qualsiasi potenziale effetto benefico.

Machine learning e filtri automatici

Il primo problema riguarda la tecnologia attraverso la quale Apple scansiona le immagini che arrivano in chat. I filtri automatizzati per il “blurring” delle fotografie funzionano grazie ad algoritmi di machine learning in grado di riconoscere la natura esplicita di un’immagine.

Il problema è che questi algoritmi, oltre ad essere “closed source” sono anche fallibili. Nessun algoritmo di riconoscimento delle immagini è perfetto al 100%, e i falsi positivi sono all’ordine del giorno.

Il rischio è quindi che anche immagini non pornografiche possano essere censurate dal software: arte, corpo femminile, e immagini relative alla comunità LGBTQI+. Tutti questi contenuti potrebbero essere soggetti allo scrutinio arbitrario degli algoritmi di Apple, con il risultato di limitare la libertà d’espressione delle persone.

Questo già succede quotidianamente su molti social network che usano gli stessi modelli di riconoscimento delle immagini: Facebook, Instagram, Tumblr. Ogni giorno migliaia di persone sono censurate erroneamente a causa di questi filtri automatizzati.

Applicare un sistema del genere anche alle comunicazioni private potrebbe significare la realizzazione di una silenziosa censura a scapito di centinaia di milioni di persone in tutto il mondo – senza alcuna possibilità di verificare le modalità di funzionamento degli algoritmi di Apple e senza possibilità di contestazione.

iMessage potrebbe trasformarsi in uno strumento di controllo

Un sistema di questo tipo si presta facilmente anche a diventare uno strumento di controllo nelle mani di genitori abusivi.

Ogni volta che il minore sceglie di visualizzare un’immagine censurata che ha ricevuto – oppure ogni volta che sceglie di inviare una foto ritenuta esplicita dall’algoritmo – i genitori ricevono una notifica.

Pensiamo che questa sia una compressione ingiustificata della libertà di autodeterminazione dei minori, che come ogni altra persona hanno diritto di creare la propria sfera personale e crescere senza una costante sorveglianza da parte della famiglia. Inoltre, non sembra ragionevole pensare che un software di cui non si conosce il reale funzionamento possa sostituire arbitrariamente l’educazione del minore con la censura arbitraria di contenuti considerati “espliciti”.

La sicurezza dell’app iMessages

Il sistema per la notifica della visualizzazione o invio di immagini ritenute esplicite dagli algoritmi di Apple crea dei metadati che transitano in chiaro sui server Apple, proprio per abilitare queste funzioni.

I metadati sono delle informazioni che descrivono azioni o altri dati. I metadati hanno un elevatissimo potere informativo, e non è un caso che Signal – una delle app di messagistica più sicure – abbia deciso di crittografare anche i metadati delle conversazioni.

Apple non accede alle foto filtrate, ma accede a questi metadati. Ne consegue che iMessages non può più ritenersi un sistema di comunicazione sicuro, poiché se Apple può accedere a questi dati – chiunque può farlo; soprattutto le forze dell’ordine.

La logica della crittografia end-to-end è che nessuno deve essere in grado di accedere o analizzare le comunicazioni tra due persone.

A causa di questa nuova funzionalità Apple sarebbe invece potenzialmente in grado di implementare algoritmi di analisi dei metadati per dedurre il contenuto delle comunicazioni. Per questo non si può più ritenere iMessages una piattaforma di messagistica che fa uso di crittografia forte (end to end), nonostante Apple affermari il contrario.

iCloud e la scansione delle fotografie sul dispositivo

Una seconda funzionalità, stavolta orientata alla lotta alla pedopornografia, riguarda i nuovi sistemi operativi iOS e iPadOS.

Con i nuovi aggiornamenti Apple vorrebbe introdurre una scansione automatizzata delle foto presenti nella memoria dei dispositivi. Lo scopo di questa scansione è scovare materiale pedopornografico e segnalare alle autorità. La procedura di scansione delle foto sul dispositivo è realizzata grazie ad un modello di riconoscimento delle immagini chiamato NeuralHash.

Come funziona

Per capire come funziona il sistema progettato da Apple bisogna prima capire le basi delle funzioni di “hashing”.

Per “hashing” si intende quel processo che a partire da un dato o insieme di dati crea una stringa alfanumerica che può essere usata per identificare in modo univoco quel dato o insieme di dati.

Questa procedura può essere applicata a qualsiasi tipologia di dato – anche alle immagini.

In questo caso il sistema dopo aver scansionato l’immagine crea una stringa identificativa, che può essere usata per riconoscere l’immagine senza trattare l’immagine stessa. Una specie di impronta digitale dell’immagine.

Questa procedura è la stessa che vorrebbe usare Apple su iPhone e iPad. In pratica, verrebbe scaricato sul dispositivo un database contenenti gli “hash” di contenuti pedopornografici, per poi confrontarlo con gli “hash” delle fotografie presenti in memoria. All’esito di questa procedura di confronto, viene creato un “voucher” crittografico assegnato a ogni fotografia.

Quando le foto sono poi caricate su iCloud, il sistema Apple procede a verificare eventuali match positivi grazie al voucher creato in precedenza.

Superato un certo limite di match positivi il sistema permetterà ad Apple di decifrare le informazioni cifrate in precedenza. In quest’ultimo caso ci sarà un team di persone che revisionerà le foto ed eventualmente procederà a segnalare il tutto alle autorità.

Una tecnologia che apre la porta a scenari preoccupanti

Questa tecnologia, seppur promossa con l’obiettivo di tutelare i bambini, rischia di aprire la porta ad abusi che finirebbero per compromettere la privacy e la sicurezza di centinaia di milioni di persone – oltre che degli stessi bambini che si vogliono tutelare.

Una tecnologia in grado di scansionare continuamente immagini e contenuti direttamente nella memoria dei dispositivi può essere facilmente integrata per identificare qualsiasi tipo di dato – non solo immagini pedopornografiche.

Ad esempio, esistono già numerose pressioni politiche per ampliare sempre più il potere di controllo statale per ciò che riguarda i contenuti “terroristici”. Ma chi decide cosa costituisce un contenuto “terroristico”?

Se Apple implementerà davvero questa nuova funzionalità, non passerà molto tempo prima che anche gli altri principali provider di sistemi operativi facciano lo stesso. A quel punto cosa impedisce ai governi di tutto il mondo di obbligare i provider a scansionare i dispositivi delle persone alla ricerca di qualsiasi tipo di contenuto?

Nell’Unione Europea abbiamo già alcune proposte di regolamento che impongono alle piattaforme online di rimuovere contenuti ritenuti “illeciti” entro brevissimo tempo. Ad esempio, il regolamento TERREG prevede che le autorità possano richiedere la rimozione di contenuti “terroristici” entro 1 ora dalla richiesta. Il Digital Services Act prevede simili regole per la moderazione dei contenuti online.

Ma se tutti i dispositivi personali fossero dotati di strumenti di scansione della memoria di questo tipo, le attività di rimozione e censura dei contenuti ritenuti illegali potrebbero essere fatte ancor prima che questi vengano pubblicati online. Gli scenari possibili sono incredibilmente preoccupanti.

Come già notato da Electronic Frontier Foundation, un sistema simile a quello proposto da Apple è stato già creato per la creazione di un database di contenuti “terroristici” o “estremisti” per essere rimossi più facilmente dalle piattaforme.

Non c’è alcun modo di limitare tecnicamente l’uso di questi strumenti. Una volta implementati, chiunque abbia accesso alle blacklist e agli algoritmi di scansione in locale ha il potere di ampliare a volontà il contenuto e lo scopo dei controlli – ben oltre la pedopornografia.

Un modo per bypassare la crittografia end-to-end

Le misure di “client-side scanning” come quella di Apple sono da anni proposte come soluzione tecnica per bypassare la crittografia end-to-end.

I governi di tutto il mondo, compresa l’Unione Europea, sono sempre più decisi a trovare un modo per accedere alle comunicazioni delle persone, in caso di bisogno. La crittografia end-to-end però previene qualsiasi intercettazione, e per questo motivo è necessario esplorare strade alternative.

Non abbiamo dubbi che la proposta di Apple arrivi da specifiche pressioni politiche che hanno poco a che fare con la lotta alla pedopornografia.

Come si può avere fiducia in un sistema inaccessibile, nato per bypassare la crittografia, e soggetto a pressioni politiche da cui potrebbero derivare pericolose estensioni del suo scopo originario?

Apple da anni si fregia del suo status di paladina della privacy, che è diventata un punto forte dei suoi prodotti. Con queste nuove funzionalità però stiamo assistendo ad un vero e proprio dietrofront, nonostante le belle parole.

Tra iCloud e iMessages lo scenario è quello di un attacco a 360° sulla crittografia forte, camuffato da funzionalità utili a tutelare i minorenni. Peccato che anche i bambini sarebbero soggetti a questa forma ingiustificata di sorveglianza e censura, e che paradossalmente sarebbero proprio loro a farne maggiormente le spese.

Non ho dubbi sul fatto che un sistema del genere, se approvato negli Stati Uniti, sarebbe poi implementato anche nell’Unione Europea.

Il motivo è il regolamento “Chatcontrol”, che derogando alla Direttiva ePrivacy permetterà ai provider di servizi di comunicazione di scansionare chat e comunicazioni dei cittadini europei alla ricerca di materiale pedopornografico.

Il Consiglio dell’Unione Europea già lo scorso anno aveva iniziato a studiare tecnologie del genere proprio per superarei problemi legati alla crittografia end-to-end.

La soluzione proposta da Apple in questo senso sarebbe una manna dal cielo, ed è molto probabile che se avrà successo sarà adottata anche da altri provider, come Google e Microsoft.

Il tema è estremamente importante per tutti noi, e non può essere lasciato nelle mani della “big tech”.

È in corso una guerra globale alla crittografia e alla riservatezza delle comunicazioni, e queste proposte non sono altro che tentativi laterali per superare il problema senza accattivarsi l’opinione pubblica.