Le 1er octobre 2025, la Californie applique les nouvelles obligations du Fair Employment and Housing Act. Tout employeur recourant à un système automatisé pour recruter, promouvoir ou évaluer devra prouver l’absence de discrimination liée à l’origine, l’âge ou le genre. Les données devront être conservées quatre ans pour un contrôle a posteriori. De plus, la responsabilité incombe désormais à l’employeur, y compris lorsque l’outil est fourni par un prestataire. L’achat d’une solution n’exonère donc plus du devoir de vigilance.

Dans les faits, les algorithmes structurent déjà une multitude de microdécisions, qu’il s’agisse de publicité ciblée, de sélection de candidats ou de contrôle policier. Bien conçus, ils accroissent l’efficacité et produisent des prédictions fiables. Mais mal maîtrisés, ils peuvent au contraire nuire massivement.

C’est dans ce climat de vigilance accrue que l’Union européenne a adopté l’IA Act en 2024. Ce dernier instaure une classification des systèmes selon leur niveau de risque et impose des standards de conception responsables. Des deux côtés de l’Atlantique, le constat est partagé : les algorithmes ne sont pas neutres et doivent obéir à un cadre légal.

Le scandale Néerlandais, connu sous le nom de « toeslagenaffaire » (affaire des allocations familiales), fournit un exemple emblématique des dérives potentielles d’une mauvaise utilisation des algorithmes. Pendant des années, un algorithme de l’administration fiscale a reproduit des discriminations raciales de façon systématisée.

Cet algorithme de l’administration fiscale intégrait, entre autres, la nationalité comme critère de risque, sanctionnant des familles sur de simples soupçons de fraude. Les résidents étrangers et les binationaux étaient systématiquement classés comme plus à risque que les personnes de nationalité néerlandaise unique, et soumis à des procédures injustement opaques. Des enquêtes ont ensuite révélé l’usage explicite de critères de profilage ethnique et racial, ayant conduit à cibler de manière disproportionnée des minorités pourtant parfaitement en règle.

Les effets de ce biais algorithmique ont été considérables. Plus d’un millier d’enfants ont été injustement retirés de leur famille pour être placés en foyer. Des familles ont dû s’acquitter d’importantes amendes, les plongeant dans une précarité extrême, allant jusqu’à l’expulsion de leur logement. Certaines victimes se sont suicidées, d’autres ont développé des troubles psychologiques durables. En résultent des milliers de foyers brisés.

Ce scandale a mis en évidence à l’échelle européenne que les algorithmes, aussi neutres qu’ils puissent paraître, restent le reflet des préjugés et des biais de ceux qui les conçoivent. Érigée en cas d’école, cette affaire a cristallisé les débats et accéléré l’émergence de l’IA Act, conçu pour éviter de tels abus.

Loin d’incarner la neutralité qu’on leur prête, les algorithmes reflètent les croyances, préjugés, et parfois de leurs biais inconscients de ceux qui les conçoivent. En reproduisant ces distorsions, ils peuvent non seulement perpétuer, mais aussi amplifier des injustices de façon systémique, surtout lorsque leurs données d’entraînement ou leurs hypothèses de départ sont biaisées.

Les biais algorithmiques traduisent la propension des systèmes à reproduire les préjugés de leurs concepteurs. Ils peuvent générer des discriminations massives, automatisées et d’autant plus dangereuses qu’elles demeurent souvent invisibles et difficiles à détecter. Comme le résume Cathy O’Neil, docteure en mathématiques à Harvard et auteure de Weapons of Math Destruction, les algorithmes ne sont que des opinions traduites en code.

D’autres exemples de ces dysfonctionnements ont été mis en lumière par des chercheurs. Par exemple, Amazon, en voulant favoriser le recrutement de femmes à des postes de direction, a en réalité engendré l’extrême inverse en les excluant de ces processus de recrutement.

Dans un autre registre, les logiciels d’aide à la décision aux jugements ont souvent été décriés aux États-Unis. Bien que leurs algorithmes ne tiennent pas compte de la couleur de peau et répartissent uniformément les niveaux de risque entre les différentes races, ils se fondent sur des informations telles que les arrestations ou les condamnations antérieures — des données qui ont toujours été biaisées à l’encontre des Noirs. Il n’est donc pas étonnant que, dans les études récentes, des chercheurs aient mis en lumière que les algorithmes utilisés dans les salles d’audience pouvaient désavantager les accusés Noirs.

Les enjeux sont élevés et le risque réel. S’il n’existe aucun moyen simple de garantir une IA exempte de biais, l’action du régulateur constitue une étape importante pour instaurer des garde-fous face aux traitements injustes pouvant être amplifiés par ces systèmes.

L’idéal d’une IA impartiale demeure difficile à atteindre. Chaque algorithme embarque des dilemmes éthiques, qui varient selon des contextes géographiques et culturels. La responsabilité algorithmique vise à ce que les concepteurs ne prennent pas ces décisions éthiques au nom de la société, mais qu’ils en soient les traducteurs en langage informatique. Autrement dit, leur rôle est de rendre transparents les compromis effectués et de mettre en place des tests et dispositifs de suivi pour assurer que les règles soient bien appliquées par l’algorithme.

L’innovation ne peut pas être pensée en dehors de ses implications sociétales. Derrière chaque algorithme se cachent des choix politiques sur la justice, la sécurité ou l’accès aux droits. L’enjeu est d’inscrire ces technologies dans un cadre institutionnel stable, à la hauteur de leur pouvoir de transformation sociale.

Par Yacine Founaqa, consultant en management de l’innovation chez Square Management