La transparence est essentielle alors que nous entrons dans l’ère du “ gouvernement par algorithme ”
5 min read
De la décision d’éligibilité au visa à la détection de la fraude financière, de la prévision des taux de récidive à l’allocation des ressources policières, les systèmes algorithmiques aident de plus en plus le gouvernement à prendre des décisions importantes. Et à mesure que les décideurs politiques se sont adaptés aux conditions de la pandémie, où les anciennes méthodes de travail ont été remises en question, la croissance de la prise de décision assistée par algorithme n’a fait que s’accélérer.
Mais il en va de même pour l’inquiétude du public face à l’utilisation de systèmes algorithmiques pour aider à prendre des décisions ayant un impact important sur nos vies. Après un algorithme utilisé par Ofqual, L’organisme de réglementation des examens en Angleterre, a déclassé 40% des notes de niveau A évaluées par les enseignants, les étudiants sont descendus dans la rue, donnant leur avis en termes clairs. «F *** l’algorithme» est devenu un cri de ralliement et Ofqual a entamé une descente embarrassante, abandonnant l’algorithme face à la pression croissante du public.
Au lendemain du fiasco, un enquête de BCS, le Chartered Institute for IT, a constaté que 53% des adultes britanniques n’ont «aucune confiance» dans une organisation pour utiliser des algorithmes pour porter des jugements à leur sujet. Seulement 7% font confiance à l’utilisation d’algorithmes pour éclairer les décisions en matière d’éducation et de fourniture de services sociaux.
Préoccupations légitimes
L’utilisation d’algorithmes pour prendre des décisions à fort impact peut sembler plus problématique qu’elle n’en vaut la peine. Pourtant, plutôt que de baisser les bras face à la résistance, le gouvernement et les organisations du secteur public peuvent et devraient faire davantage pour répondre aux préoccupations légitimes du public et rétablir la confiance dans l’utilisation des algorithmes.
Une façon claire de le faire serait d’injecter une bonne dose de transparence dans le processus de prise de décision algorithmique. Les ministres et les fonctionnaires sont régulièrement traînés à travers les braises par des comités et des régulateurs pour assurer la transparence dans la manière dont le gouvernement mène ses activités.
Et à juste titre – la transparence est la pierre angulaire de notre démocratie. En tant que citoyens, nous ne pouvons examiner et comprendre les décisions de notre gouvernement qu’en interrogeant les preuves, les hypothèses et les principes sur lesquels elles sont fondées.
Mais comment parvenir à la transparence et à la responsabilité dans le nouveau monde courageux du «gouvernement par algorithme»? Un récent hackathon sur la politique de réforme – rassemblant des décideurs politiques, des universitaires et des régulateurs – s’est concentré sur cette question.
Tous ont convenu qu’un débat public éclairé sur l’utilisation des algorithmes était une première étape nécessaire. Cependant, l’engagement du public sur cette question est toujours freiné par un très faible niveau de sensibilisation sur la prévalence de l’utilisation d’algorithmes par les organisations du secteur public telles que les forces de police et les fiducies NHS.
Les organisations du secteur public doivent être beaucoup plus ouvertes sur la manière dont elles utilisent déjà les algorithmes pour prendre des décisions. La mise en place d’un registre en ligne consultable des systèmes d’algorithmes actuels couvrant le gouvernement central et local et des organisations telles que les forces de police et les fiducies du NHS serait une première étape bienvenue. Helsinki et Amsterdam ont tous deux lancé des registres d’algorithmes et d’IA en 2020, qui expliquent pourquoi et comment les algorithmes sont utilisés par leurs gouvernements respectifs.
Le déploiement d’un registre à l’échelle nationale donnerait aux citoyens un accès à des informations sur la manière dont les décisions algorithmiques les affectent et, à son tour, faciliterait un débat public éclairé sur où et comment les nouvelles technologies peuvent être utilisées à bon escient dans le secteur public.
Transparence intégrée
Cependant, bien que la documentation de l’état actuel des choses se fasse attendre depuis longtemps, nos experts ont fait valoir que la transparence doit être intégrée dans le processus de prise de décision algorithmique à un stade beaucoup plus précoce. Trop souvent, la transparence et la responsabilité sont des réflexions après coup – des réponses nécessaires à la colère du public lorsque les choses tournent mal. Plutôt que d’attendre que les algorithmes aient été déployés, les organisations devraient être ouvertes au public lors de la conception et du développement d’algorithmes.
Tout comme les organisations publient des études d’impact sur l’environnement avant de démarrer des projets d’infrastructure, elles devraient publier des analyses d’impact algorithmiques avant de déployer des systèmes d’algorithmes. Celles-ci seraient informer le public des avantages et des risques potentiels d’un algorithme et les mécanismes à mettre en place pour garantir son utilisation en toute sécurité bien avant son déploiement.
Une attention particulière aux impacts de l’utilisation des algorithmes sur les groupes à risque devrait être un élément central de ces évaluations. Lorsque des risques de haut niveau sont identifiés pour des groupes particuliers, les organisations du secteur public devraient s’engager dans une consultation prospective pour s’assurer que les préoccupations de ceux qui pourraient être affectés négativement sont exprimées et prises en compte.
Atténuer le risque
Munis d’informations sur les avantages et les coûts à l’avance, les analystes externes et les citoyens eux-mêmes peuvent examiner si une attention suffisante a été accordée aux impacts de l’utilisation d’un algorithme et si les mécanismes d’atténuation des risques sont adéquats pour protéger l’intérêt public.
Une fois les systèmes algorithmiques déployés, une surveillance proactive après la mise sur le marché pour s’assurer que les méfaits de l’utilisation des algorithmes sont identifiés et traités rapidement doit devenir la norme, au lieu du système actuel de réponse aux gros titres des journaux et à la colère du public, après coup.
Ce n’est qu’en intégrant la transparence à chaque étape du processus de prise de décision algorithmique que nous pourrons instaurer la confiance nécessaire pour réaliser le potentiel des services publics activés numériquement. Si le gouvernement par algorithme doit être l’avenir, la transparence n’est pas négociable.
Sebastian Rees est chercheur au sein du groupe de réflexion indépendant Reform.
