La science des données, futur de l’IA dans la sphère juridique

Par Jehanne Dussert

L’intelligence artificielle (IA) est un domaine en pleine expansion permettant d’offrir de nouveaux outils à la justice et aux professionnels du droit. Le traitement et l’analyse de données judiciaires, le déploiement de l’information juridique, le développement d’outils dits « prédictifs », sont autant d’exemples favorisant un meilleur accès à la justice. L’utilisation d’algorithmes d’IA est alors déterminante afin de rendre les systèmes judiciaires plus performants et garantir une meilleure transparence auprès des justiciables qui en deviennent utilisateurs.

Néanmoins, l’utilisation de l’IA n’est pas sans risque. En l’absence d’évaluation des systèmes algorithmiques, les dérives sont inévitables et les failles insondables. L’affaire MiDAS en est un exemple, le système-expert ayant produit des accusations erronées de fraude à l’assurance-emploi dans l’Etat du Michigan et engendré un important contentieux. La réintégration d’un contrôle humain de l’algorithme s’est alors imposée afin de pallier les carences du système-expert de la Michigan Unemployment Insurance Agency (UIA), démontrant les limites de l’automatisation de certaines tâches.

Ainsi, à l’aune du développement par la sphère juridique d’outils et de processus issus de l’IA, la mise en place d’instruments d’évaluation permettant d’en établir la fiabilité s’impose afin d’accélérer la recherche dans ce domaine. A cette fin, le Laboratoire de cyberjustice de Montréal s’emploie à déployer un concours fondé sur l’étude d’algorithmes qui aurait une résonance inédite au sein des institutions juridiques et de recherche.

La science des données, discipline indispensable à l’exploitation d’algorithmes

L’architecture des algorithmes appelle inévitablement à une complexité de résultats. En premier lieu, ce constat s’impose de par la quantité d’informations traitées par ces systèmes afin d’en assurer la performance. En second lieu, le nombre de données soumises vise à établir des modèles efficaces fondés sur une structure neuronale. La science des données s’inscrit par conséquent comme une discipline indispensable à la compréhension et à l’amélioration des algorithmes, tels que ceux conçus par le Laboratoire de cyberjustice de Montréal.

La science des données (data science) s’appuie sur la manipulation d’ensembles de données afin d’en extraire des informations et connaissances pertinentes à la lumière d’outils mathématiques et statistiques. Les méthodes d’extraction employées sont alors un enjeu majeur dans le processus de développement d’une IA performante. L’exploration de données (data mining) permet par la suite de construire des modèles algorithmiques fondés sur les ensembles de données soumis. A partir de ces premiers résultats, il est possible d’exploiter ces informations par le biais d’une méthode analytique des données. Il s’agit alors d’améliorer la performance et le fonctionnement de l’algorithme en coordonnant méthodes statistiques, programmation informatique et recherche opérationnelle.

Des domaines tels que l’IA, les statistiques ou l’informatique encouragent à développer des techniques d’évaluation ayant pour but de converger vers une méthodologie efficace de traitement et d’analyse de données. En ce sens, le développement de la recherche en matière de science des données devient un facteur déterminant afin d’assurer l’efficacité de l’IA dans la sphère juridique.

Une discipline à intégrer pleinement dans la sphère juridique

Si l’évaluation des performances algorithmiques s’impose comme un outil décisif dans le secteur de la science des données, la sphère juridique peine à s’adapter à cette méthode. Quelques rares illustrations ont néanmoins émergé dans la dernière décennie, plus particulièrement dans des secteurs mêlant droit et intelligence artificielle.

A titre d’illustration, l’International Conference on Artificial Intelligence and Law (ICAIL) dédie un workshop au concours sur l’extraction et l’adaptation de l’information juridique (Competition on Legal Information Extraction/Entailment – COLIEE), notamment soutenu par l’Alberta Machine Intelligence Institute (AMII). Cet atelier est renouvelé cette année pour une sixième édition qui se tiendra le 21 juin 2019 au Laboratoire de cyberjustice de Montréal. Il encourage ses participants à évaluer des systèmes de données dans le domaine juridique à travers différentes phases :

– l’extraction d’informations juridiques issues d’affaires passées (tâche 1) ;

– l’adaptation des dispositions aux affaires judiciaires soumises (tâche 2) ;

– la recherche juridique (tâche 3) ;

– l’identification d’un raisonnement juridique, autrement dit d’une corrélation entre les cas passés et les dispositions connues du système (tâche 4).

Il est à noter que les deux premières tâches se concentrent sur la jurisprudence de la Cour fédérale du Canada (COLIEE Case Law Competition) tandis que les deux autres sur les dispositions issues du droit civil japonais (COLIEE Statute Law Competition). Chacune de ces tâches sont ensuite soumises à une série d’évaluations afin de constater la performance de l’outil utilisé. La fonctionnalité étudiée reçoit au terme de l’évaluation une note entre 0 (faible performance) et 1 (performance élevée). L’objectif est de déceler d’éventuelles faiblesses dans le système ainsi que des critères d’amélioration au regard d’autres logiciels effectuant les mêmes tâches d’extraction et de traitement des données pour rendre l’outil plus performant et compétitif. Le concours encourage notamment à l’étude de la précision et de la pertinence de chaque fonctionnalité du logiciel proposé par le biais de cinq mesures distinctes (precision, recall, F-measure, F2-measure, accuracy).

Un instrument décisif selon le Laboratoire de cyberjustice de Montréal pour assurer la performance des outils d’IA

Le Laboratoire de cyberjustice de Montréal développe un logiciel ayant recours à l’IA afin de transmettre de l’information juridique aux justiciables. Il s’agit du projet JusticeBot, agent conversationnel permettant d’établir la situation factuelle d’un individu et les règles juridiques qui s’appliqueraient dans le cas d’un différend entre locataire et propriétaire dans la province du Québec. Plus concrètement, cet outil a pour but de prédire une éventuelle réduction de loyer ou la résiliation d’un bail en analysant des décisions passées. L’algorithme repose sur un jeu de données composé d’un million de décisions issues de la Régie du Logement. Ce chatbot a vocation à se développer par la suite dans d’autres domaines du droit dans le but d’améliorer l’accès à la justice.

Afin d’évaluer le modèle sur lequel repose le JusticeBot et d’en assurer la performance, le Laboratoire de cyberjustice de Montréal souhaite mettre en place son propre concours sur le modèle de COLIEE. La compétition établira une méthodologie d’évaluation des tâches effectuées par l’algorithme à partir du jeu de données susmentionné. Le but sera d’entraîner l’algorithme en lui fournissant des entrées (input) et sorties (output) issues d’une partie de l’ensemble de données, et d’en tester l’efficacité avec la partie restante.

D’une part, le concours permettra au Laboratoire de cyberjustice de mettre en concurrence d’autres outils d’aide et d’information juridiques. A terme, sa diffusion a pour objectif d’encourager la multiplication et la mutualisation des efforts déployés entre laboratoires de recherche dans le domaine de l’IA pour en tirer les meilleurs instruments. D’autre part, les méthodes d’évaluation soumises permettront d’établir les mises à jour de l’algorithme à envisager dans le but de répondre au mieux aux attentes des justiciables en proposant des services plus adaptés. Enfin, elles s’emploieront à responsabiliser les concepteurs de l’algorithme par un contrôle d’efficacité des tâches commandées et réalisées par ce dernier.

Sites à consulter :

– Programme de l’ICAIL 2019
https://icail2019-cyberjustice.com/workshops-tutorials/#Competition%20on%20Legal%20Information% 20Extraction%20and%20Entailment%20(COLIEE%202019)

– Concours COLIEE 2019
https://sites.ualberta.ca/~rabelo/COLIEE2019/

– Projet JusticeBot du Laboratoire de cyberjustice de Montréal https://www.cyberjustice.ca/justicebot/

Ce contenu a été mis à jour le 11 juin 2019 à 10 h 11 min.