Architectures avancées de réseaux de neurones (6ECTS)
Contenu
Ce cours présentera les architectures avancées de réseaux de neurones. Il permettra d’aborder les dernières avancées en deep Learning et ses applications. Cela ira des réseaux de convolutions tels que ResNet ou GoogleNet pour les images, jusqu’au Transformers et aux mécanismes d’attention, en passant par les LSTM et autres GRU pour le traitement des séries chronologiques et le traitement automatique des langues.
Les cours/Tds seront basés sur les articles de référence de chaque domaine. L’approche consiste à présenter en cours les fondements puis, comme projets lors des TPs, de coder « from scratch » les architectures décrites dans les articles.
Contenu Détaillé
- Outils (pdf du cours):
- GPU vs CPU Lab1.py.
- DataLoaders Lab2.py.
- Keras vs PyTorch vs PyTorch Lightning Lab3.py.
- Informations pratiques : guide d'utilisation de GPU (et de DL) au CREMI
- Réseaux de neurones "simples": NN, CNN, RNN.
- ResNet, VGG, U-Net.
- Modèles génératifs : Autogénartion, GAN, Auto-Encodeurs, VAE.
- Modèles de graphes : GNN et GCNN.
- Architectures pour le NLP :
- Embeddings.
- NPLM.
- Mécanisme d'attention et Transformers.
- Stable Diffusion Models.
- Réseaux pour les données multimodales : CLIP, ...
- Projet.