Dans son dernier rapport intitulé “Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ?”, la Défenseure des droits tire la sonnette d’alarme quant à l’utilisation croissante de systèmes algorithmiques dans les politiques publiques et les service publics. En effet, bien que ces outils soient porteurs de progrès, ils font également “peser des risques majeurs sur les droits et libertés” et peuvent ainsi mettre en péril les droits fondamentaux si leur usage n’est pas rigoureusement encadré.

Une automatisation croissante aux risques multiples

Aujourd’hui, de nombreux services relevant de l’administration s’appuient d’ores et déjà sur des algorithmes, que ce soit pour automatiser certaines tâches, standardiser voire améliorer et/ou accélérer certaines procédures ou certaines étapes de procédures administratives.

Bien que la loi impose des restrictions et interdise, en théorie, la prise de décision individuelle entièrement automatisée dans le champ de l’action administrative, ce principe d’interdiction a évolué au fil du temps et a été assorti de nombreuses exceptions, notamment au motif de garantir une certaine efficacité dans la délivrance des services (comme par exemple pour le calcul de l’impôt sur le revenu).

D’autres types de décisions dites « partiellement automatisées » peuvent également être entérinées sans réelle analyse humaine, réduisant la possibilité de rectifier des biais ou des erreurs.

En parallèle, le manque d’information sur ces systèmes constitue un obstacle pour les usagers souhaitant comprendre ou contester les décisions qui les concernent. Ce déficit démocratique s’aggrave face à l’opacité des technologies utilisées et à la complexité croissante de leur fonctionnement.

Les recommandations clés pour rétablir les équilibres

La Défenseure des droits propose une série de mesures visant à préserver les droits des citoyens :

• Garantir une intervention humaine significative : les agents publics doivent jouer un rôle actif et critique, notamment en cas de décisions touchant directement les droits des usagers. Cela implique des formations adaptées pour ne pas avaliser mécaniquement les résultats générés par les algorithmes.
• Renforcer la transparence et l’accès à l’information : chaque décision automatisée ou partiellement automatisée doit être accompagnée d’explications claires. Un droit à l’explication des décisions et des mécanismes de recours efficaces devraient être intégrés aux pratiques administratives.
• Lutter contre les biais et discriminations : des audits réguliers des systèmes algorithmiques doivent être réalisés, en particulier pour les dispositifs à fort impact social. La sensibilisation des concepteurs d’algorithmes et des gestionnaires publics aux enjeux éthiques et juridiques est aussi cruciale.

Une régulation européenne en appui

Le contexte réglementaire est en pleine évolution, avec des initiatives comme le règlement européen sur l’IA (IA Act). Ce texte vise à encadrer les systèmes d’intelligence artificielle à haut risque et à garantir un usage conforme aux valeurs démocratiques européennes. La Défenseure des droits appelle à une mise en œuvre ambitieuse de ces dispositifs pour éviter que l’innovation ne se fasse au détriment des droits humains.

En conclusion, ce rapport souligne l’urgence d’un équilibre entre innovation technologique et respect des libertés fondamentales. Les administrations, tout comme les citoyens, doivent être outillés pour comprendre et maîtriser ces nouveaux outils, sous peine de renforcer les inégalités et l’opacité dans l’accès aux droits publics.