Démarrage Février 2025
Thèmes de recherches associés: Machine Learning, Logic, ML, LLM
Localisation: LaBRI, Laboratoire Bordelais de Recherche en Informatique, Talence, France
Le stage est entièrement financé par la chaire “IA digne de confiance” dirigée par Laurent Simon et soutenue par la Fondation Bordeaux Université.
Description du projet de master proposé
Les progrès impressionnants réalisés ces dernières années autour de l’apprentissage automatique permettent d’envisager de nombreuses applications jusqu’ici hors de portée. Cependant, la précision atteinte dans la prédiction (et/ou la recommandation) de ces outils ne permet pas à elle seule de garantir leur adoption, par exemple dans le cadre d’applications critiques. Il existe en effet de nombreuses barrières à leur industrialisation, dès lors que ces outils imposent de pouvoir comprendre leurs décisions et/ou de les expliquer / justifier. De manière générale se pose ainsi de manière de plus en plus cruciale la question de la confiance que l’on peut avoir dans les recommandations calculées par ces outils.
Ce constat a donné lieu à un nouveau sous-domaine de l’intelligence artificielle, s’intéressant aux garanties offertes par ces systèmes et à la confiance que l’on pouvait y avoir. Cette confiance peut revêtir différents aspects et a des liens forts avec les problématiques d’explicabilités, également sur le devant de la scène scientifique depuis quelques années.
Dans ce stage de M2 Recherche, nous proposons d’étudier la problématique des biais présents dans la génération de texte issu des grands modèles de langages. Ce problème est l’un des freins actuels au déploiement de ces modèles lorsqu’il ne sont plus sous supervision d’un humain. Pour cela, le stage devra permettre d’établir l’état de l’art actuel dans ce domaine et d’en établir les limites. L’approche proposée consiste à travailler directement sur le modèle prédictif plutôt que de le contraindre par des techniques extérieures. Nous pourrons par exemple chercher à spécialiser l’un des grands modèles de langage disponibles et de taille raisonnable pour que, sans mentions explicite du genre, les prédictions du modèle ne reproduisent pas des biais, pourtant présents dans les données. Cela pose aussi le problème de l’évaluation de performance d’un modèle construit pour ne pas reproduire ce sur quoi il a été entraîné. Un premier stage a déjà été conduit dans ce sens. L’objectif de ce nouveau stage est de poursuivre ces travaux pour la livraison d’un petit LLM dépourvu de biais.
Candidat
Le/La candidat.e devra avoir de solides connaissances en Apprentissage Automatique et en IA symbolique. Une très bonne connaissance de la programmation est également attendue.
Contact: Laurent Simon