11:00
12:30
Les Transformers appliqués au TAL : présentation et implémentation.
Depuis leur introduction en 2017, les réseaux neuronaux appelés Transformers ont révolutionné l'état de l’art en matière de traitement du langage naturel.
Ces architectures ont notamment permis d'entraîner des modèles linguistiques qui excellent dans des tâches telles que la traduction, la génération de texte, et le résumé.
Cette présentation comprendra une première partie théorique détaillant leur architecture et leur fonctionnement, suivie d'une seconde partie pratique illustrée par l'implémentation d'un modèle en PyTorch.
Amphi LaBRI