A l’occasion de leur dernière réunion, les membres du Collectif citoyenneté et numérique ont reçu Hubert Guillaud, journaliste et pilote du média https://danslesalgorithmes.net, afin d’échanger sur les impacts des algorithmes de calcul et d’aide à la décision sur les personnes en précarité, notamment en matière de justice sociale.

En effet, l’utilisation des systèmes de calcul dans le domaine social est très répandue, mais elle soulève de nombreuses inquiétudes quant à leur équité, leur transparence et leur impact sur la justice sociale. L’analyse de divers exemples, allant des algorithmes de la CAF à Parcoursup en passant par les systèmes de recrutement, révèle des défaillances majeures et récurrentes.

Des systèmes de calcul discriminatoires et dysfonctionnels

Que ce soit en France ou dans d’autres pays, la mise en place de systèmes automatisés pour le calcul, la distribution ou le contrôle des aides sociales a toujours débouché sur des défaillances comme le montrait la politologue américaine Virginia Eubanks en 2018. Dans l’Indiana dès 2005, l’aide sociale a reculé de 54 % quand l’automatisation de son attribution a été confiée à IBM (voir Fiasco informatique : l’État de l’Indiana poursuit IBM). En Pennsylvanie, un outil de prédiction du risque de maltraitance d’enfants a ciblé majoritairement les familles les plus précaires (voir notamment Virginia Eubanks – Automating Inequality pour des exemples spécifiques aux Etats-Unis). En Australie, au Royaume-Uni en passant par les Pays-Bas, ou encore le Danemark, partout ces 20 dernières années ont éclaté des scandales liés à l’automatisation des aides sociales (voir Les algorithmes de la honte : Quand les États déshumanisent la Solidarité). La mise en place de ces systèmes a toujours produit des dysfonctionnements majeurs.

En France, l’algorithme mis en place par la CAF pour détecter la fraude a transformé les méthodes et les finalités du contrôle au détriment de l’aide et du conseil : ce système sur-contrôle les personnes les plus précaires (voir l’enquête du Monde à ce sujet), est opaque et n’a jamais été audité pour vérifier l’absence de discrimination. L’algorithme de Parcoursup, qui distribue les places dans l’enseignement supérieur, reproduit et accentue les inégalités du système éducatif français, en basant notamment le système de notation des élèves sur des micro-critères ne prenant plus du tout en compte la motivation.

Des problématiques de différentes natures

• Discrimination et profilage : les systèmes de calcul, en cherchant à distinguer et classer les individus sur la base de données souvent incomplètes, biaisées, ou encore sans aucun rapport avec ce qui doit être contrôlé ou mesuré produisent des discriminations. Par ce mode de fonctionnement, les groupes vulnérables (femmes seules, personnes en difficulté financière, minorités sociales) se retrouvent ainsi la plupart du temps sur-représentés ou sur-ciblés par les algorithmes de contrôle. Comme l’a démontré l’enquête du Monde dans le cas de l’algorithme de contrôle de la CAF, les parents isolés sont ainsi surreprésentés dans le score de risque, entraînant un tiers des contrôles vers les plus précaires, alors même qu’ils sont minoritaires parmi les allocataires.
• Multiplication et non-pertinence des données collectées : le problème avec ces systèmes est que l’ensemble des données collectées et disponibles sont utilisées, pour produire des scores, et ce alors même qu’elles ne sont parfois pas pertinentes. La complexité des situations sociales est également complètement gommée, au profit d’une évaluation binaire : une case de commentaire remplie ou non remplie, sans tenir compte de la nature même du commentaire fera ainsi partie des données “calculées” ; de même, le nombre de connexions à l’espace personnel de la CAF peut influencer le score de risque de fraude, alors qu’il n’y a aucun lien évident entre ces deux éléments.
• Opacité et manque de transparence : l’opacité des algorithmes rend difficile la compréhension de leur fonctionnement, la contestation des décisions et l’évaluation de leurs impacts réels. La CAF refuse ainsi, par exemple, de rendre publics les modalités de calcul de son score de risque, tout comme Parcoursup ne permet pas aux étudiants de comprendre les critères de sélection des formations. Cette opacité masque l’irresponsabilité des calculs et empêche un véritable débat démocratique sur leur utilisation.
• Surévaluation des performances : les promoteurs de ces systèmes promettent des résultats impartiaux, équitables et efficaces, mais la réalité est bien souvent différente. Par exemple, à Los Angeles, un système numérique a été mis en place pour attribuer des logements d’urgence aux personnes sans-abri. Il a été prouvé qu’une personne sans-abri sortant de prison se voyait attribuer un score faible, au motif qu’elle avait eu un hébergement stable durant les mois ou années précédents, rendant ainsi l’attribution d’un logement plus difficile… D’autres enquêtes ont également montré que le système accordait de moins bons scores à certaines personnes, sur des critères raciaux. Mais le système est toujours en place, et continue ainsi à perpétuer des discriminations prouvées. Il en est de même avec les systèmes utilisés, et de plus en plus, dans l’aide au recrutement : les critères de notation utilisés pour écarter certaines candidatures produisent de la discrimination, de manière intrinsèque, car ils reposent sur une analyse simpliste, à nouveau binaire : par exemple, un recruteur qui décide d’éliminer tous les CV qui ont un “trou” de 6 mois dans le parcours (ce qui, en soit, est questionnable, mais ne relève pas d’une discrimination au sens de la loi), une personne qui aura été en congé maladie long, ou en congé maternité durant une telle période sera d’office écartée, de manière systémique.
• Remplacement de l’objectivité par la précision : les systèmes de calcul, en se basant sur des micro-critères et en attribuant une importance excessive à des différences minimes, créent des distinctions artificielles entre les individus. Parcoursup illustre parfaitement ce phénomène en distinguant des élèves sur la base de différences infimes dans leurs moyennes, distinctions qui n’auraient aucune pertinence dans un contexte d’évaluation humaine.

Quelles solutions pour pallier ces difficultés ?

Selon Hubert Guillaud, les pistes à suivre sont les suivantes :

• Minimiser la quantité de données utilisées, pour limiter les risques de discrimination et d’opacité. En privilégiant la collecte et l’utilisation de données strictement nécessaires, en appliquant le principe de proportionnalité du RGPD, les algorithmes pourraient ainsi se concentrer sur les données les plus pertinentes pour la tâche à accomplir.
• Exiger la transparence et l’explicabilité des algorithmes, en appliquant notamment la règlementation déjà en vigueur (RGPD, Loi pour une République numérique, Code des relations entre le public et l’administration) et en faisant en sorte que les informations publiées et mises à disposition des citoyens soient réellement intelligibles. Cette réglementation pourrait également aller plus loin en exigeant la publication d’informations détaillées  et compréhensibles sur les données utilisées, les critères de décision et les méthodes d’évaluation. En complément, des audits indépendants devraient être menés régulièrement pour évaluer l’équité, l’efficacité et la transparence des algorithmes sociaux.
• Impliquer les personnes concernées par les calculs (usagers, travailleurs sociaux, associations) dans la conception, l’évaluation et le contrôle des systèmes, afin de garantir qu’ils répondent aux besoins réels des personnes et qu’ils sont utilisés de manière responsable. 
• Promouvoir des services publics numériques forts et protecteurs de l’intérêt général et des droits des des citoyens, capables de proposer des alternatives aux solutions marchandes et de garantir un accès équitable aux droits et aux services.
• Imaginer et expérimenter des solutions alternatives aux modèles de calcul existants, en s’inspirant d’exemples comme le système d’admission dans les écoles publiques de New York ou les systèmes de scoring de risque de récidive aux États-Unis.

Une prise de conscience et une mobilisation collective sont nécessaires pour éviter que les algorithmes ne continuent à renforcer les inégalités et à porter atteinte aux droits des citoyens, en particulier les plus précaires majoritairement concernés par ces dérives. L’opacité des algorithmes sociaux est un problème majeur qui peut avoir des conséquences néfastes sur les individus et la société. 

Il est donc essentiel de mettre en place des mesures pour garantir la transparence et la responsabilité de ces systèmes, afin de s’assurer qu’ils soient utilisés de manière juste et équitable. Il est également important de donner les moyens aux acteurs de l’action sociale, de la défense des droits et aux citoyens eux-mêmes de comprendre la manière dont ils sont exposés à ces systèmes, leur fonctionnement et sur quels critères ils basent le rendu de leurs décisions. Dans un souci de justice sociale, il est essentiel de redonner à chacun le pouvoir de comprendre ses droits et leur attribution, notamment pour mieux y accéder ou exercer des droits de recours lorsque nécessaire.