Architectures avancées de réseaux de neurones (6ECTS)


Contenu

Ce cours présentera les architectures avancées de réseaux de neurones. Il permettra d’aborder les dernières avancées en deep Learning et ses applications. Cela ira des réseaux de convolutions tels que ResNet ou GoogleNet pour les images, jusqu’au Transformers et aux mécanismes d’attention, en passant par les LSTM et autres GRU pour le traitement des séries chronologiques et le traitement automatique des langues.

Les cours/Tds seront basés sur les articles de référence de chaque domaine. L’approche consiste à présenter en cours les fondements puis, comme projets lors des TPs, de coder « from scratch » les architectures décrites dans les articles.


Contenu Détaillé

  • Outils (pdf du cours):
  • Réseaux de neurones "simples": NN, CNN, RNN.
  • ResNet, VGG, U-Net.
  • Modèles génératifs : Autogénartion, GAN, Auto-Encodeurs, VAE.
  • Modèles de graphes : GNN et GCNN.
  • Architectures pour le NLP :
    • Embeddings.
    • NPLM.
    • Mécanisme d'attention et Transformers.
  • Stable Diffusion Models.
  • Réseaux pour les données multimodales : CLIP, ...
  • Projet.