Aux États-Unis, des algorithmes interviennent dans les procédures judiciaires pour estimer le risque de récidive de l’accusé et orienter la décision d’incarcération ou de libération. Ces prévisions peuvent, toutefois, se révéler inexactes. Le programme utilisé pour évaluer les risques de récidive criminelle est le Correctional Offender Management Profiling for Alternative Sanctions (“COMPAS”). Ce programme a fait l’objet d’une enquête de ProPublica, qui a révélé la présence de discriminations algorithmiques. L’enquête a révélé que le programme renforçait les préjugés et stéréotypes racistes, et qu’il était plus susceptible de désigner à tort les suspect·e·s noirs comme risquant de commettre de futures infractions que les suspect·e·s blancs.
Source : Developpez.com
À travers le monde, la plupart des gouvernements ont commencé à adopter des stratégies de transformation numérique, en utilisant des technologies fondées sur l’exploitation de données. Certains systèmes algorithmiques peuvent évaluer ou « prédire » le risque que des personnes demandeuses de prestations sociales commettent des fraudes. Ces systèmes peuvent également prédire qu’une personne commette une infraction ou trier des demandes de visa. Cependant, ils ne font pas l’unanimité. Il est possible qu’ils empêchent certaines personnes d’obtenir des services essentiels, qu’ils perpétuent les inégalités fondées sur l’origine ethnique, le genre, la situation au regard de la législation relative à l’immigration, le handicap ou encore la situation socioéconomique. Cela s’explique notamment par le fait que certains systèmes soient entraînés sur des données biaisées. En basant leurs conclusions sur ces données, les algorithmes auraient tendance à amplifier ces biais, alimentant un cercle vicieux qui pénaliserait les communautés judiciarisées. Les programmes d’intelligence artificielle viennent donc perturber le domaine du droit dont les missions exigent, le plus souvent, de préserver l’exclusivité de la décision humaine. Il est nécessaire de trouver un équilibre entre les bénéfices de l’utilisation de la technologie et les éventuelles atteintes aux droits humains qu’elles peuvent engendrer.
Nous mettrons en lumière la nature et l’émergence des biais au sein des systèmes d’IA, en étudiant leur typologie ainsi que leurs effets discriminatoires, tout en analysant les cadres réglementaires et législatifs mis en place pour préserver l’intégrité du système judiciaire face à ces risques technologiques en Europe et en Amérique du Nord.
I. Les biais dans les systèmes d’intelligence artificielle
La notion de biais
Un biais est une attitude favorable ou défavorable envers une hypothèse indémontrée qui empêche un individu d’évaluer correctement les preuves. Un biais peut également être défini comme un ensemble de mécanismes psychologiques et cognitifs susceptibles d’altérer la qualité et l’objectivité d’une analyse, en introduisant une distorsion, souvent inconsciente, entre l’information réellement disponible et la manière dont elle est perçue, interprétée et utilisée par l’humain.
Les biais associés à l’intelligence artificielle sont appelés les biais de machine learning ou biais d’algorithme. Ces biais font référence à l’apparition de résultats biaisés en raison de préjugés humains qui faussent les données d’entraînement ou l’algorithme d’IA d’origine. Cela mène alors à des résultats altérés et à des conséquences potentiellement néfastes, en privilégiant par exemple un groupe démographique par rapport à un autre. Concernant la notion d’algorithme, la Commission Nationale de l’Informatique et des Libertés (CNIL) en France le définit comme « la description d’une suite d’étapes permettant d’obtenir un résultat à partir d’éléments fournis en entrée ». Effectivement, les algorithmes constituent le socle de l’intelligence artificielle et de l’apprentissage automatique. Ils rendent possible la formation de ces technologies sur des ensembles de données préexistants relatifs à un problème spécifique, pour élaborer des modèles capables de résoudre efficacement de nouveaux cas similaires.
L’intelligence artificielle, du fait de sa conception humaine, pourra reproduire les préjugés de ses concepteurs et engendrer des biais dits “cognitifs”. Nous faisons, ici, la distinction entre biais algorithmiques et biais cognitifs. Les biais cognitifs impactent les résultats des IA utilisées dans le monde. Les biais se retrouvant dans une IA sont souvent les mêmes que les biais humains. Les biais cognitifs représentent des déformations du raisonnement humain : ils amènent une personne à interpréter, filtrer ou prioriser l’information de manière déformée. Ces derniers sont les prémisses des biais algorithmiques. Le concepteur d’un système algorithmique, pouvant avoir des biais cognitifs, peut choisir un algorithme inadapté ou mal interpréter des données, ces actions menant alors au renforcement de biais algorithmiques.
L’origine des biais
Les biais vont la plupart du temps venir du développeur d’une IA générative. Effectivement, celui-ci, affecté par des biais cognitifs, peut les reproduire dans le code informatique ou au sein des données collectées, et cela de manière consciente ou non. Les logiciels seront alors « dès la naissance » porteurs des stéréotypes et préjugés de leurs concepteurs. Comme l’énonce la loi de Kranzberg, la technologie n’est ni bonne ni mauvaise ; elle n’est pas non plus neutre. L’impact de la technologie vient de l’usage que l’on en fait.
La présence des biais intervient à différentes étapes de vie des IA génératives notamment lors de la collecte, la sélection et la préparation des données permettant leur entraînement. Lors de cette étape, on peut retrouver des biais de sélection, correspondant à la sélection de données confirmant les croyances ou hypothèses préexistantes. Il est possible pour le développeur d’exclure systématiquement, de manière consciente ou non, certaines informations, ce qui correspond au biais d’omission. Lors de la collecte, le biais de disponibilité peut devenir un problème, il correspond à la tendance à utiliser des données facilement accessibles ou immédiatement disponibles, qui peuvent ne pas être complètes. Lors de leur sélection, les données pourraient ne pas refléter correctement la diversité des personnes ou des cas d’utilisation : cela correspond au biais de représentativité. Finalement, le biais d’étiquetage peut apparaître lorsque les étiquettes attribuées aux données d’apprentissage reflètent des opinions subjectives ou stéréotypées.
Lors de l’entraînement des modèles ou leur sélection, certains biais peuvent émerger. C’est le cas notamment des biais d’ancrage, liés à l’utilisation d’un ensemble initial d’hyperparamètres, par exemple, ceux utilisés dans des travaux ou des modèles antérieurs. Cela peut limiter l’exploration de configurations qui pourraient être plus optimales ou moins biaisées. Par application de l’effet Dunning-Kruger, des biais peuvent apparaître. Cet effet correspond à la compréhension insuffisante des nuances et complexités des modèles menant à un entraînement inadéquat. Le biais du survivant peut se manifester lorsque le concepteur utilise des hyperparamètres qui ont fonctionné dans des projets ou expériences antérieurs, en ignorant ceux qui n’ont pas abouti mais qui pourraient être pertinents dans le contexte actuel. Finalement, le biais de confirmation se révèle lorsque que l’élection des modèles a été faite en fonction de l’adéquation de leurs résultats selon les propres croyances du concepteur.
Enfin, des biais peuvent émerger lors de l’utilisation des modèles d’IA. Le biais d’automatisation correspond à une confiance excessive dans les performances du modèle après son déploiement, en négligeant la nécessité d’une surveillance et d’une évaluation continues. L’illusion de connaissance peut également devenir un problème, dès lors que l’on croit à tort que le modèle comprend les concepts ou fournit des réponses plus fiables que ce que ses capacités permettent réellement. Puis, à nouveau, la possibilité de biais de confirmation peut se manifester lorsque l’interprétation des résultats du modèle est faite d’une manière à confirmer nos croyances préexistantes. De ces biais vont en découler des nouveaux qui devront être attentivement surveillés par le personnel des juridictions administratives utilisant les IA.
Typologie des biais
La justice administrative française s’est dotée d’une charte d’utilisation de l’intelligence artificielle au sein de la juridiction administrative, en décembre 2025. En s’appuyant sur la charte française sur l’IA dans l’administration et sur la doctrine française sur les biais, il est concevable de reconnaître la possibilité d’un recours encadré à l’IA au sein de l’administration. Les textes institutionnels ou doctrinaux d’Amérique du Nord, bien qu’ils abordent eux aussi ces enjeux, ne présentent pas la même articulation directe entre usage de l’IA et réflexion approfondie sur les biais.
La charte d’utilisation de l’intelligence artificielle au sein de la juridiction administrative cite quatre biais principaux induits par l’IA auxquels le personnel des juridictions administratives doit, en raison de la nature de la mission qui lui est confiée, être particulièrement vigilant.
- Le biais d’ancrage : vu sous l’angle des biais cognitifs, il désigne, selon la charte, la difficulté à se départir d’une première impression ou d’une première proposition. Appliqué au contrôle algorithmique, ce biais peut conduire un agent administratif chargé de la supervision à accorder une confiance excessive à la première sortie de l’algorithme, sans la soumettre à un réexamen critique rigoureux, faisant ainsi perdre au contrôle humain une grande partie de son intérêt. La lutte contre le biais d’ancrage reste plus simple si l’on a déjà réfléchi au sujet de son côté ou par d’autres méthodes avant de recourir à l’IA.
- Le biais de confirmation : déjà évoqué précédemment, celui-ci conduit à favoriser des informations qui confirment des croyances ou hypothèses préexistantes. Si la question posée à l’IA comporte de tels présupposés ou orientations, l’IA aura tendance à faire la réponse attendue de l’utilisateur sans remettre en cause l’hypothèse de départ.
- Le biais d’apprentissage : ce biais découle directement des données d’entraînement des systèmes d’IA. Les résultats fournis par l’IA vont donc refléter la tendance majoritaire de ces données d’entraînement. L’exemple que donne la charte est que les données d’entraînement d’un système d’IA basées sur des sources anglo-saxonnes pourraient engendrer des biais de common law au sein des réponses de l’IA.
- Le biais discriminatoire : les discriminations pouvant être reproduites par l’IA sont susceptibles d’avoir des effets considérables. Les données d’entraînement pourraient comporter des éléments discriminatoires tels que du racisme, du sexisme, ou encore de la discrimination fondée sur la religion. Les résultats d’une IA seraient donc préjudiciables pour certaines personnes. Ces biais peuvent également être associés aux biais stéréotypes, c’est-à-dire lorsque des affirmations sont issues de préjugés envers certains groupes d’une population.
Les IA génératives peuvent également engendrer d’autres biais, souvent entrelacés les uns avec les autres.
- Le biais de répétition : ce biais correspond à des informations tenues pour vraies à force d’être répétées, même lorsqu’elles sont fausses.
- Le biais des données : ce biais, déjà évoqué précédemment, est l’un des biais principaux, il apparaît lorsque les données utilisées sont inexactes. Elles seront amenées à engendrer des réponses incorrectes par l’IA. Le terme « garbage in, garbage out» fait référence au fait que même l’algorithme le plus sophistiqué qui soit produira des résultats inexacts et potentiellement biaisés si ses données d’entraînement sont inexactes.
- Le biais d’automatisation : ce biais correspond à la tendance de l’humain à faire davantage confiance aux résultats produits par la machine qu’à son propre jugement et, ainsi, à avaliser de façon systématique ou excessive les recommandations qu’elle formule. Ce biais pourrait d’autant plus se manifester dans un cadre administratif ou judiciaire, lorsque l’outil d’IA a demandé de grands investissements humains et financiers, un agent serait davantage biaisé dans son approche face au résultat.
Reproduction des inégalités et discriminations systémiques
Les conséquences des biais de l’IA ne sont pas neutres. La discrimination est définie par le Code pénal français à l’article 225-1 comme étant
toute distinction opérée entre les personnes physiques sur le fondement de leur origine, de leur sexe, de leur situation de famille, de leur grossesse, de leur apparence physique, de la particulière vulnérabilité résultant de leur situation économique, apparente ou connue de son auteur, de leur patronyme, de leur lieu de résidence, de leur état de santé, de leur perte d’autonomie, de leur handicap, de leurs caractéristiques génétiques, de leurs mœurs, de leur orientation sexuelle, de leur identité de genre, de leur âge, de leurs opinions politiques, de leurs activités syndicales, de leur qualité de lanceur d’alerte, de facilitateur ou de personne en lien avec un lanceur d’alerte, de leur capacité à s’exprimer dans une langue autre que le français, de leur appartenance ou de leur non-appartenance, vraie ou supposée, à une ethnie, une Nation, une prétendue race ou une religion déterminée.
La discrimination est également prohibée par la Charte des droits et libertés de la personne du Québec :
Toute personne a droit à la reconnaissance et à l’exercice, en pleine égalité, des droits et libertés de la personne, sans distinction, exclusion ou préférence fondée sur la race, la couleur, le sexe, l’identité ou l’expression de genre, la grossesse, l’orientation sexuelle, l’état civil, l’âge sauf dans la mesure prévue par la loi, la religion, les convictions politiques, la langue, l’origine ethnique ou nationale, la condition sociale, le handicap ou l’utilisation d’un moyen pour pallier ce handicap.
Il y a discrimination lorsqu’une telle distinction, exclusion ou préférence a pour effet de détruire ou de compromettre ce droit.
Tel qu’énoncé précédemment, le système COMPAS est utilisé aux États-Unis comme outil de prédiction du risque de récidive utilisé dans le système pénal américain. Ce type de système invite à une grande prudence pour les autorités judiciaires, notamment dans le cadre de support de décision. En ce sens, en 2020, une erreur d’algorithme de reconnaissance faciale des services de police aux États-Unis a conduit à l’arrestation injustifiée et à la détention durant quelques heures d’un homme afro-américain accusé à tort de vol. L’algorithme avait jugé identiques la photo du permis de conduire de l’homme et l’image d’un voleur capturée par des caméras de surveillance. Cette technologie de reconnaissance faciale est souvent accusée, aux États-Unis, de manquer de fiabilité dans l’identification des minorités. Effectivement, ces stratégies d’optimisation du travail des forces de police sont susceptibles d’amplifier certains biais déjà présents dans les pratiques policières et d’accroître la surveillance de certains groupes déjà victimes de discrimination dans le système de justice.
Au niveau français, avait été identifié le risque de systématisation des discriminations indirectes au sein de la procédure d’admission post-bac de la plateforme ParcourSup. Certains critères récoltés pour former le dossier des candidats pourraient engendrer une pratique discriminatoire. Par exemple, le critère du lycée d’origine pourrait générer une discrimination indirectement liée au lieu de résidence.
Il est impératif que l’industrie de l’IA évolue afin de répondre à ces enjeux. L’intégration de mécanismes de détection et de correction des biais algorithmiques constitue un premier levier d’action déterminant. Les concepteurs des IA doivent travailler en connaissance de leurs propres biais et des biais qui pourraient toucher leurs systèmes. L’utilisation de prétraitement des données pour réduire les biais est une technique pertinente. Il est également important d’obtenir une collecte de données plus diversifiées et représentatives, d’effectuer une formation et une sensibilisation des utilisateurs et des développeurs à l’existence et aux effets des biais algorithmiques.
Outre les mesures destinées aux concepteurs, le droit intervient désormais pour protéger l’intégrité de la décision judiciaire face aux biais inhérents aux systèmes d’IA.
II. La protection de la justice face aux biais algorithmiques
De nombreux gouvernements déploient, aujourd’hui, des solutions fondées sur l’IA pour transformer la gestion publique et améliorer la qualité des services rendus aux citoyens. L’IA peut ainsi permettre d’améliorer la qualité de vie au sein des pays mais également, favoriser la croissance économique et la productivité. En ce sens, certains gouvernements ont commencé à adopter l’IA pour l’aide à la décision, la législation ou la sécurité publique. Au sein des tribunaux, les outils d’IA pourraient être utilisés pour améliorer le processus administratif, comme pour la gestion des dossiers. Les tribunaux pourraient également se servir d’outils d’aide à la recherche et à l’analyse juridiques, de rédaction ou de traduction. Les tribunaux peuvent soit utiliser des systèmes d’IA existants, soit développer leurs propres outils pour répondre à leurs besoins. Nous examinerons l’encadrement de l’usage des IA au sein de l’Europe et de l’Amérique du Nord, notamment au Canada et aux Etats-Unis. Cependant, l’utilisation de l’IA par les administrations publiques pourrait mener à des incertitudes, notamment sur les résultats d’une demande faite à une IA générative.
En Europe
Le règlement européen sur l’IA s’applique aux fournisseurs de systèmes d’IA, qu’ils soient établis dans l’Union ou dans un pays tiers. À cet effet, le récital 21 dispose que, pour garantir une protection efficace des droits et libertés des personnes dans l’Union, les règles établies par le règlement doivent s’appliquer aux fournisseurs de systèmes d’IA de manière non discriminatoire. De plus, l’article 10 du règlement vient ajouter des obligations quant aux données de formation. Les ensembles de données de formation, de validation et d’essai sont pertinents, suffisamment représentatifs et, dans le mesure du possible, exempts d’erreurs et complets au regard de l’objectif visé. L’article ajoute que les ensembles de données présentent les propriétés statistiques appropriées, notamment en ce qui concerne les personnes ou les groupes de personnes auxquels le système d’IA à haut risque est destiné à être appliqué.
L’Union européenne, en 2019, a fixé sept principes éthiques devant être respectés pour encadrer le développement et le déploiement d’IA « digne de confiance ».” D’abord, celle-ci doit respecter les droits de l’Homme et ne doit pas limiter l’autonomie humaine. Il est nécessaire que les algorithmes de l’IA soient sécurisés et fiables. Les systèmes d’IA doivent être transparents et traçables, et les données doivent être conservées. L’IA doit être accessible à tous et doit respecter l’environnement. Finalement, les concepteurs des systèmes d’IA sont tenus pour responsables.
En Amérique du Nord
Au Canada
Les outils d’IA offrent des avantages aux institutions du gouvernement du Canada. Les institutions peuvent améliorer leurs opérations. Cependant, les systèmes d’IA ne devraient pas être utilisés dans tous les cas : les institutions doivent faire preuve de prudence, et évaluer les risques avant de commencer à les utiliser. De plus, l’utilisation d’un système d’IA ne devrait pas s’effectuer lors de situations délicates, notamment au sein des processus décisionnels affectant les droits des individus. L’implantation de système d’IA pourrait permettre de bonifier l’expérience des justiciables et accroître l’efficacité des tribunaux et des plateformes de résolution en ligne des conflits.
En 2020, le gouvernement du Canada a mis en place la Directive sur la prise de décisions automatisée, s’appliquant aux systèmes automatisés utilisés pour appuyer ou prendre des décisions administratives. Les institutions doivent respecter les exigences de la Directive, notamment en effectuant l’évaluation de l’incidence algorithmique et en respectant des principes tels que la transparence, l’assurance de la qualité et l’équité procédurale.
Le guide sur l’utilisation de l’IA générative du gouvernement du Canada énonce des pratiques exemplaires pour tous les utilisateurs de l’IA générative dans les institutions fédérales. Les agents doivent se renseigner sur “les biais, la diversité, l’inclusion, l’antiracisme et les valeurs et l’éthique” pour améliorer leur capacité à repérer le contenu biaisé, non inclusif ou discriminatoire. Ils doivent également s’efforcer de comprendre les données utilisées pour entraîner l’outil comme l’origine, le contenu, la manière dont les données ont été sélectionnées et préparées. Finalement, lors de la production d’un contenu par l’IA générative, les agents doivent « clairement » l’indiquer.
En juin 2023, la Cour du Banc du Roi du Manitoba a émis une Directive pratique pour l’utilisation de l’IA dans les documents judiciaires. La Cour a formulé des préoccupations légitimes quant à la fiabilité et à l’exactitude des renseignements produits par son utilisation. Pour remédier à ces préoccupations, les documents déposés auprès du tribunal doivent indiquer, le cas échéant, comment l’IA a été utilisée dans la préparation de ceux-ci.
Aux Etats-Unis
Aux Etats-Unis, vers 2020, Timnit Gebru, devenue un symbole des lanceurs d’alerte en IA, a été licenciée de chez Google pour avoir tenté de publier un papier sur les risques des grands modèles de langages (LLM). Elle y critiquait les impacts écologiques, moraux et sociaux de ces technologies. Elle dénonce le manque de transparence des systèmes d’IA déployés pour les administrations et les tribunaux. Elle critique la manière dont les bases de données perpétuent des disparités ethniques et sociologique-économiques, pouvant aggraver les inégalités notamment dans le cadre de la justice prédictive ou policière.
En 2023, Biden a mis en place une directive fédéral (Executive Order) contre la discrimination algorithmique dans les administrations. La directive interdit que l’usage de l’IA désavantage les groupes vulnérables. Des audits doivent obligatoirement être réalisés concernant les outils d’IA à haut risque. Les agents doivent suivre des formations permettant d’identifier et de diminuer les biais. Cette directive reste tout de même applicable aux Etats-Unis, malgré l’abrogation partielle par Trump en 2025.
C’est en 2024 que le National Center for State Courts a mis en place un guide pour la mise en œuvre de l’IA dans les tribunaux. Ce guide admet obligatoirement la supervision humaine lors de décisions et la vérification des sorties d’IA pour éviter les hallucinations ou éventuels biais. Les juges et les agents doivent être formés aux biais et doivent choisir correctement une IA pour éviter les modèles opaques.
Finalement, l’état de New York a récemment publié une directive sur la politique d’utilisation de l’IA devant les tribunaux de l’état. Celle-ci s’applique à tous les juges, magistrats et agents du système de la justice, elle apporte des principes directeurs pour l’utilisation responsable et éthique de l’IA dans le système judiciaire. En 2025, c’est la Californie qui a publié la norme 10.80 concernant les huissiers de justice. Elle régule également l’usage de l’IA générative et exige une supervision humaine.
Pour conclure, avant toute utilisation d’une IA et principalement au sein de l’administration publique, les biais et risques de discrimination doivent être soigneusement évalués en amont, notamment lors de la constitution des bases de données et lors de l’apprentissage de l’IA.
Ce contenu a été mis à jour le 25 mai 2026 à 10 h 56 min.