Sélectionner une page

L’explicabilité des modèles d’apprentissage automatique

Rattaché au Domaine d’Excellence
Data

sur quoi travaille-t-on ?

Notre équipe de R&D développe une méthode d’explicabilité post-hoc des modèles black box (e.g. modèles Deep Learning, Random Forests) pour différentes applications (e.g. NLP, données tabulaires). L’approche prioritaire est celle des modèles de substitution (Surrogate Models), famille de méthodes visant à utiliser un modèle interprétable pour imiter localement le comportement d’un modèle boîte noire.

Pourquoi travaille-t-on sur ce sujet ?

Les algorithmes d’apprentissage automatique complexes tels que les réseaux de neurones profonds (Deep Learning) permettent d’obtenir de très hautes performances de prédiction pour une pléthore d’applications, y compris le Traitement Automatique des Langues (TAL) ou Natural Language Processing (NLP). Ils apportent donc des perspectives prometteuses aux entreprises en termes de performances prédictives. Néanmoins, ces modèles sont souvent perçus comme des boîtes noires, i.e. les représentations internes et les décisions produites par ces modèles sont difficiles à interpréter.

En outre, les raisons qui expliquent pourquoi un modèle a donné une certaine décision au lieu d’une autre sont inconnues. Ceci est une des causes principales de la faible utilisation industrielle des modèles de Deep Learning dans les domaines critiques où l’interprétabilité est requise, comme par exemple le domaine médical, financier, sécuritaire ou juridique. Ce phénomène est particulièrement problématique en raison de préoccupations éthiques. Plusieurs travaux ont notamment montré que ces modèles peuvent être biaisés par des préjugés sociétaux présents dans les données d’apprentissage, et que donc les décisions générées par ces modèles seraient potentiellement discriminatoires ; ceci est problématique d’un point de vue moral et juridique. Plusieurs cas de discrimination liées à des applications d’Intelligence Artificielle (IA) sont rapportés dans l’état de l’art et la presse.

que fait-on concrètement ?

Les travaux réalisés nous permettent de contribuer à :

  • l’amélioration des métriques d’évaluation des modèles d’explicabilité en termes de plausibilité et de fidélité.
  • la conception des modèles de substitution robustes aux attaques adversariales.
  • la génération d’attaques adversariales et d’exemples contrefactuels adaptés, particulièrement ardue dans le cas d’une application NLP, afin d’optimiser la capacité d’interprétabilité des algorithmes d’IA.

CHERCHEURE

Docteure Sara MEFTAH

Docteure Sara MEFTAH

Sara est Chercheure au Square Research Center, rattachée au Domaine d’Excellence Data. Sara travaille sur différents sujets de recherche d’apprentissage automatique et du Natural Language Processing. Elle travaille actuellement sur la conception et le développement de nouvelles méthodes d’interprétabilité et d’explicabilité des modèles d’apprentissage automatique. En parallèle de ses activités de recherche, Sara accompagne les clients du groupe sur des projets variés en Intelligence Artificielle pour une meilleure exploitation de leurs données.
Sara est diplômée d’un Master 2 en Intelligence Artificielle (Université de Paris Dauphine) et d’un diplôme d’ingénieur en Informatique (École Nationale Supérieure d’Informatique — Algérie). Ensuite, Sara a obtenu son doctorat en traitement automatique des langues (Natural Language Processing) au Commissariat à l’Énergie Atomique et aux énergies renouvelables (CEA) et à l’université de Paris Saclay.
Durant ses années de doctorat, Sara a travaillé sur des problématiques du Natural Language Processing (NLP) en utilisant des algorithmes d’apprentissage profond (Deep Learning). Sara a proposé des nouvelles approches d’apprentissage par transfert (Transfer Learning) pour l’adaptation au domaines, i.e. l’amélioration des performances des outils NLP pour les domaines de spécialité et les textes des réseaux sociaux. Les travaux de Sara en Natural Language Processing ont été publiés et présentés dans différentes conférences nationales et internationales (https://scholar.google.com/citations?user=-6ojZ2IAAAAJ&hl=en). Auparavant, durant son cursus universitaire, Sara a travaillé sur des projets de recherche, innovation et développement au sein de différents établissements: Centre de développement des technologies avancées, l’université d’AgroParisTech, le Groupe Seb et l’université de Paris Saclay.

LES AUTRES PROGRAMMES SQUARE RESEARCH CENTER

Share This