In molte parti d’Europa i sistemi di welfare cambiano per affrontare la crisi demografica, promuovere la conciliazione vita-lavoro, la sostenibilità del sistema sanitario attraverso mix pubblico e privato sempre più estesi. I welfare cambiano forse ancora più profondamente per affrontare i comportamenti irregolari e imprevedibili delle famiglie a basso reddito, dei beneficiari di sussidi economici, dei disoccupati a lungo termine, degli abitanti delle periferie urbane.

Le due strategie non sono convergenti e rischiano di alimentare due sistemi di welfare molto differenti nella stessa nazione. Il primo sistema, accogliente e reattivo, è rivolto alle persone che operano fattivamente nel sistema lavorativo, ricevono redditi adeguati e possono pertanto integrare il welfare pubblico con welfare privati sempre più dinamici ed efficienti. Il secondo sistema di welfare ha una funzione di controllo o una funzione assistenziale di gestione passiva delle condizioni più drammatiche di povertà e di degrado. L’estensione e l’intensificazione della condizionalità sono elementi centrali di questo sistema.

Il welfare condizionale si basa su principi molto semplici e lineari. Per ricevere una prestazione, si stabiliscono tre condizioni. La prima è l’appartenenza a un target ben definito (disoccupati, persone con disabilità, senza dimora). La seconda sono i criteri di ammissibilità (livello di severità della patologia o di una condizione). A differenza dei welfare tradizionali, il welfare condizionale introduce una terza condizione che si riferisce a requisiti di carattere comportamentale. Per ricevere le prestazioni il beneficiario deve dimostrare di essere una persona responsabile.

I beneficiari di prestazioni di welfare (dalle persone che abitano case popolari ai senza dimora, persone che ricevono prestazioni economiche) sono sottoposti a obbligazioni e piccole regole (convocazioni, appuntamenti, colloqui) che mettono alla prova il loro senso di responsabilità. I beneficiari che continuano a comportarsi in modo irresponsabile o hanno comportamenti moralmente riprovevoli, subiscono una limitazione o una perdita dei loro diritti a ricevere prestazioni economiche o determinati servizi. La responsabilizzazione non è più un obiettivo della relazione di cura, ma diventa un requisito di accesso alle misure di welfare.

In questi ultimi anni il welfare condizionale è diventato molto più efficace nella sua funzione di controllo dei beneficiari con l’introduzione di algoritmi di previsione dei comportamenti e modelli matematici che sostituiscono il rapporto umano con gli operatori, modelli predittivi sui nuclei familiari a maggior rischio di abuso e maltrattamento sui minori, di controllo e sorveglianza delle aree economicamente più deprivate delle città.

In Italia gli algoritmi sono utilizzati ampiamente dalle istituzioni bancarie, per decidere se concedere o meno un prestito, per prevedere una recidiva di reato, per assegnare cattedre nella scuola secondo un criterio di merito (vedi la buona scuola). In Olanda è stato utilizzato per lungo tempo l’algoritmo Syri (System Risk Indication) al fine di valutare l’attitudine a commettere frodi o abusi di coloro che percepiscono sussidi o altre forme di assistenza pubblica. In Danimarca, il progetto Gladsaxe attribuiva un sistema di punteggi comportamentali utilizzando i dati raccolti sul nucleo familiare relativi al reddito, all’istruzione, alla stabilità del nucleo familiare, al quartiere di residenza e a vari aspetti comportamentali. Un punteggio anomalo allertava i servizi sociali, che intervenivano per prevenire abusi e procedere all’affido.

Il Rapporto dell’Algorithm Watch (2020) rileva che molti di questi algoritmi hanno prodotto risultati molto negativi sulle condizioni di vita della popolazione. Nella costruzione di profili di rischio capaci di prevedere la probabilità di un individuo di truffare lo Stato, sulla base di dati precedentemente raccolti e analizzati, le discriminazioni sono spesso molto elevate. Il Rapporto rileva che se si amplia lo sguardo allo stato attuale dei sistemi di ADM (automated decision-making) in Europa, si scopre che gli esempi positivi, che arrecano chiari benefici, sono rari, e che la stragrande maggioranza degli usi tende ad aumentare i rischi per i cittadini, invece di essere loro d’aiuto (Algorithm Watch, 2020, p. 5).

Questi algoritmi si dicono predittivi perché si basano costantemente sull’ipotesi che il nostro futuro sarà una riproduzione del nostro passato. Non è più necessario conoscere gli individui, avviare ricerche empiriche o creare luoghi di coinvolgimento e di partecipazione. L’individuo viene svelato dalle sue stesse tracce, non ha interiorità ha solo comportamenti, eventi, segnali. L’ombra che porta la traccia dei comportamenti delle persone è sufficiente a nutrire i calcoli e a riconoscere i comportamenti a rischio (Cardon, 2015). Per osservare gli individui non serve quantificare le categorie stabili (classi d’età, classi professionali…) ma le tracce, i segnali, i comportamenti ricorrenti sui quali costruire distinti profili che consentiranno di individuare i comportamenti statisticamente più probabili, i percorsi di cura e i premi assicurativi. In molti casi, però, i profili coincidono con i più tradizionali stereotipi: le famiglie povere e i giovani emigrati tendono a compiere maggiori reati, le madri sole tendono ad utilizzare in modo eccessivo le prestazioni di welfare, i reati e i crimini si concentrano in determinati quartieri.

I modelli algoritmi di previsione del rischio nonostante la loro reputazione di imparzialità sono il riflesso di obiettivi e ideologie (O’Neil, 2016). Gli algoritmi sono strumenti sociotecnici, intesi come un sistema composto da diversi apparati di natura tecnica e sociale che sono inestricabilmente intrecciati e che vanno a definire la produzione dei dati. In questa prospettiva, gli algoritmi sono il prodotto combinato di diversi apparati, di molteplici tecniche analitiche e di varie comunità di esperti in competizione tra loro, che rende opaca la loro origine e il loro funzionamento. Sostanzialmente nel momento della loro creazione si effettuano delle scelte su come i dati devono essere elaborati (Palmiero, 2020).

Non esiste mai un unico algoritmo per risolvere un determinato problema, ma una moltitudine di algoritmi possibili e alcuni discriminano meno di altri. È necessario comunque tenere presente che un algoritmo o un modello matematico contiene inevitabilmente dei bias. Possiamo distinguere due tipi principali di bias (Jean, 2021). Alcuni sono cognitivi e dipendono dalla visione del mondo degli individui che lo sviluppano e sono legati a fattori sociali o culturali, alla loro percezione di ciò che accade. Altri bias, sono riferibili ai dati che utilizziamo e immettiamo nel nostro modello matematico che possono contenere errori (casuali, errori di misurazione, di campionamento, di concettualizzazione di un fenomeno…) che spesso non conosciamo. Spesso i dati che abbiamo a disposizione ci faranno sviluppare un algoritmo profondamente distorto che danneggerà la vita di molte persone. Comunque, non si possono eliminare tutti i bias e la loro persistenza deve costringerci a interrogarci sulle nostre certezze, per evitare conseguenze a volte disastrose, discriminazioni tecnologiche, quindi sociali o razziali (Jean, 2021).

In Italia si utilizza l’algoritmo di KeyCrime, in Germania il programma informatico denominato Precobs (Pre Crime Observation System, nel Regno Unito e negli Stati Uniti si utilizza il PredPol e che consente di prevedere in quale parte della città è più probabile che si verifichi un crimine e utilizzando strumenti come “stop, question and frisk” (ferma, interroga e perquisisci) si interviene in modo “chirurgico” sulle persone più a rischio, senza conoscere realmente chi abita il quartiere, creando categorie di rischio basati su condizioni geografiche (il quartiere di provenienza), sulla base dei comportamenti passati e della regolarità osservate in alcuni comportamenti ritenuti antisociali. Molti dei sistemi indicati sono stati bloccati da movimenti, tribunali perché ritenuti gravemente discriminatori nei confronti delle minoranze etniche e delle persone che abitano i quartieri più degradati.

Gli algoritmi non sono “neutrali”, non possono essere scambiati per tecnologie oggettive. Replicano, invece, gli assunti e le credenze di chi decide di adottarli e programmarli. È sempre un umano dunque, non “gli algoritmi” o i sistemi di ADM, a essere responsabile sia delle buone che delle cattive decisioni algoritmiche (Algorithm Watch, 2020).

Per i profili di rischio, che riguardano le persone che abitano le aree più povere o determinati gruppi sociali sono spesso movimenti collettivi e associazioni che intervengono a loro favore. Insomma, i rischi di discriminazione devono essere prevenuti e mitigati con un’attenzione particolare per i gruppi che hanno un rischio maggiore (persone economicamente svantaggiate, membri della comunità LGBTI, persone con disabilità, minoranze etniche) (Council of Europe, 2019). Con la consapevolezza che noi non siamo soltanto la somma imprecisa e incompleta dei nostri comportamenti (Cardon, 2015)

Riferimenti bibliografici

Algorithm Watch (2020) Automating Society, Berlin (edizione italiana)https://automatingsociety.algorithmwatch.org/wp-content/uploads/2020/11/Automating-Society-Report-2020-Edizione-italiana.pdf

Benasayag, M. (2019) La tirannia dell’algoritmo, Vita e Pensiero, Milano.

Cardon, D. (2015), Che cosa sognano gli algoritmi, trad. it. Mondadori Università, Milano.

Council of Europe-Commissioner for Human Rights (2019) Unboxing Artificial Intelligence: 10 steps to protect Human Rights, Bruxelleshttps://rm.coe.int/unboxing-artificial-intelligence-10-steps-to-protect-human-rights-reco/1680946e64

Jean, A. (2021) Nel paese degli algoritmi, trad. it. Neri Pozza Editore, Vicenza.

O’Neil (2016) Armi di distruzione matematica, trad. it. Bompiani, Milano.

Palmiero M. S. (2020), COVID-19 Disuguaglianza e welfare digitale Aspetti critici che possono sfavorire i beneficiari del welfare digitale, in Cambio. Rivista sulle trasformazioni sociali, Published Online.

Questo articolo è stato pubblicato su Comune il 4 ottobre 2021