Diritti Digitali per la Comunità Queer

Autore: Camilla Quaresmini

Introduzione

L’intelligenza artificiale (IA) pervade le nostre vite tramite app di varia tipologia, assistenti digitali, sistemi di rating, dispositivi smart. Diversamente dalla prospettiva che la presenta come strategia oggettiva ed equa per la gestione di determinati compiti, l’IA è intrinsecamente priva di neutralità, in quanto potenzialmente soggetta ad un uso duale. Infatti certi algoritmi, pur consentendo importanti applicazioni economiche, determinano l’automatizzazione di molteplici problematicità che permeano la nostra società, come discriminazione e gap.

In questo clima che ricorda chiaramente al concetto di ingiustizia epistemica di Miranda Fricker, secondo cui un soggetto soffre di un deficit di credibilità a causa dei pregiudizi legati alla sua identità sociale, i sistemi che potrebbero esserci utili diventano modelli di esclusione algoritmica, reiterando criticità del passato e del presente.

La discriminazione automatizzata presenta diverse sfaccettature: nel presente articolo sarà considerato il genere.

La quasi totalità dei sistemi di IA presuppone ed implementa la classificazione escludente del binarismo di genere. Questo si traduce nella categorizzazione e classificazione degli individui secondo le due uniche etichette – tra loro mutualmente esclusive – di “ maschio” e “ femmina”.

Studiare l’aspetto fisico come proxy dell’identità di genere è problematico, perché il genere è in grande misura una caratteristica interna, non per forza visibile e rilevabile dall’esterno. Molte piattaforme digitali classificano gli individui basandosi su aspetto fisico e ipotesi stereotipate, costringendo violentemente gli individui non-cisnormativi a rientrare in una categoria a cui non appartengono, appiattendo così lo spettro delle identità su un sistema di classificazione binario, invisibilizzando tutte le altre. Oltre ad essere un atto di estrema violenza, questa operazione costituisce un grave errore ontologico perché non riconosce l’esistenza degli individui che non si identificano nel binarismo di genere – individui che, fino a prova contraria, esistono.

Segue ora un’analisi dell’esperienza di vita digitale di individui queer su tre tipologie di piattaforme differenti: app di ride sharing, social network e app di dating.

App di Ride Sharing: Uber

Nel 2018 Uber sospende gli account di alcuni individui transgender e non binari trattando i loro documenti come fraudolenti, a seguito di incongruenze fotografiche rilevate dal sistema di riconoscimento facciale utilizzato dall’azienda. La funzione in questione, parte integrante del protocollo di sicurezza di Uber, si chiama Real-Time ID Check ed è finalizzata a garantire la sicurezza dei passeggeri attraverso la richiesta agli autisti di selfie in tempo reale.

Questi vengono poi confrontati con le fotografie archiviate in un database, utilizzando la tecnologia Cognitive Services di Microsoft Azure.

Se non c’è corrispondenza tra il selfie inviato e quelli in archivio, l’account viene sospeso in attesa di essere esaminato più approfonditamente. Questo comporta la perdita sia del lavoro che del credito accumulato dall’autista in questione.

Il problema di questa tecnologia è che l’implementazione di un sistema di genere binario e statico non permette di considerare adeguatamente gli autisti che attraversano una transizione di genere. Infatti è chiaro che i selfie in tempo reale potrebbero differire, ad esempio, da quelli inviati in precedenza o dalla foto della patente fornita inizialmente dall’utente. I cambiamenti nell’aspetto fisico sembrano quindi non essere tollerati dagli algoritmi di riconoscimento facciale utilizzati da Uber.

In questo contesto l’azienda fornisce un protocollo dedicato. La piattaforma prevede infatti un processo di controllo in background per gli utenti transgender e non binari.

Tuttavia non sembra così semplice riattivare i propri account tramite l’apposita procedura di ricorso di Uber, a causa di risposte programmate che si rivelano spesso non specifiche e/o irrilevanti.

Quando è possibile, dunque, fare affidamento sul riconoscimento facciale nei casi in cui l’aspetto degli individui può cambiare nel tempo? Attualmente la risposta sembra essere mai. E come se non bastasse, il processo di debiasing in casi come questo può risultare altrettanto problematico. Ammesso infatti che la soluzione corretta sia quella di raccogliere dati di training che includano individui transgender, questo può facilmente tradursi in una raccolta dati invasiva e senza consenso.

Social Network: Facebook

Nel 2014 Facebook annuncia con un post la sua strategia per un design più inclusivo: il numero di opzioni per l’identificazione di genere dei suoi utenti sale da 2 a 58. Tuttavia, studi come Design Justice di Sasha Costanza-Chock (MIT) dimostrano che a livello profondo il database riconfigura e codifica tutti gli utenti in un sistema che rimane binario. Questo binarismo algoritmico radicato trasforma le etichette da presunte affermazioni sull’identità in attribuzioni arbitrarie.

I pronomi consentiti dalla piattaforma continuano ad essere i soliti tre dal 2014: maschile, femminile, neutro. Sembra inoltre che si verifichino casi di shadowbanning, fenomeno che limita la scoperta del contenuto prodotto da un utente senza indicare che un particolare hashtag associato al contenuto è vietato.

Così sono stati disabilitati account che sembrerebbero non seguire gli standard della community di Facebook, più precisamente perché attirano polemiche e sono soggetti ad attacchi a causa della loro stessa esistenza.

Non si può non citare anche la cosiddetta real name policy di Facebook, che in alcuni Paesi non permette di cambiare nome ad utenti che stanno affrontando un percorso di transizione di genere senza la conferma di documenti ufficiali. L’azienda di Zuckerberg dovrebbe tuttavia aver ovviato a questa politica, consentendo alle persone di descrivere la “circostanza speciale” in cui si trovano quando viene richiesta loro la verifica del nome. Queste informazioni aggiuntive dovrebbero aiutare l’utente a ricevere un approccio più personalizzato. Tuttavia questa policy rimane abbastanza opaca, perché non è chiaro se potrebbe comunque avvenire una richiesta di documento per la verifica.

La portata dei contenuti “queer-friendly” è stata ridimensionata anche dagli algoritmi di TikTok nel 2020. La virale app di video-sharing aveva infatti censurato alcuni hashtag relativi alla comunità LGBTQ+ in alcuni Paesi.

L’errore di moderazione è stato giustificato dall’azienda come azione di conformità alla leggi locali. Ma di fatto questi hashtag sono stati vittima della stessa censura riservata a contenuti pornografici, illeciti o di stampo terroristico.

App di Dating: Tinder

Nel 2019 anche Tinder aggiunge nuove opzioni di identità di genere promuovendo più inclusività, o quantomeno credendo di farlo. Tuttavia, dopo l’implementazione delle nuove etichette, sono stati segnalati ban arbitrari di massa a scapito di utenti della comunità transgender.

Il ban automatico degli account scatta quando questi subiscono un consistente numero di segnalazioni. Questa politica di sicurezza è ragionevole in casi di segnalazione di individui pericolosi o che svolgono attività illegali e/o di frode, ma non in questo caso. Infatti, le segnalazioni subite dagli account in questione sono di natura meramente transfobica. Al mancato controllo sull’abuso dello strumento di segnalazione dei profili di Tinder si aggiunge anche la scarsa assistenza clienti che la piattaforma sembra fornire in casi di ban di questo tipo.

Il risultato è che Tinder offre sì 50 diverse opzioni di identità di genere, ma gli individui che non si identificano nelle due opzioni binarie continuano ad essere bannati in modo abbastanza opaco dalla piattaforma. Sembra quindi che anche questa app si rivolga essenzialmente ad utenti cisgender, e che l’inclusività che promuove sia – almeno in misura maggiore – solo di facciata, in quanto l’incorporazione di più opzioni di identità di genere anche in questo caso non include realmente la comunità queer.

Conclusione

La discriminazione sistematica subita dalla comunità queer sembra spesso essere alimentata anche dal mondo digitale. L’implementazione di un design inclusivo dovrebbe essere una linea di ricerca perseguita da tutte le piattaforme che vantano il coinvolgimento di un importante – e non specifico, settoriale – numero di utenti nel mondo, specialmente di quelle app che si dichiarano a supporto di comunità marginalizzate ma che poi nella pratica non lo sono realmente.

La condizione di possibilità per la creazione di un ambiente più sicuro per le comunità discriminate è lo scardinamento del binarismo algoritmico alla base dei sistemi di IA. In caso contrario, l’aggiunta di innumerevoli opzioni di identità di genere e di apposite pagine di presunta assistenza si riducono a tentativi ingenui di programmare un’inclusività non troppo sincera. L’inclusività non può tradursi nella disperata attesa della risoluzione di una pratica di assistenza specifica.