Programmation large échelle

L'objectif de cet enseignement est de former les étudiants aux méthodes de programmation pour la manipulation des données massives. Dans ce contexte, les problèmes et les enjeux de la manipulation des BigData seront abordés. Dans le cours nous nous concentrerons sur l'éco-système Hadoop qui est la référence dans ce domaine. Nous commencerons par l'étude du système de fichier HDFS ainsi que de l'API JAVA permettant de le manipuler. Nous aborderons ensuite le paradigme de programmation MapReduce en utlisant l'API standard de Hadoop2 mais aussi SPARK. Les design pattern standards de programmation Map/Reduce seront étudiés dans ce contexte. Enfin, nous aborderons les API de programmation de la base de données de Hadoop HBASE.

Enseignants

  • David Auber - Responsablle de l'UE, chargé de cours et des tds.

    david.auber@u-bordeaux.fr

Planning

  • Cours tous les mardi matin de 10h15 à 12h15
  • Travaux dirigés : Groupe A, mardi 14h00 à 16h00 salle A28-007, Groupe B, mercredi 14h 16h salle A28-105.

Evaluation

Les étudiants devront rendre des comptes rendus de TD/TP . Ceux-ci permettront d'obtenir une note de contrôle continu. A la fin des séances, un projet sur un jeu de données sera donné aux étudiants. Ce projet permettra d'obtenir une note de projet. Enfin un examen permettra de valider que l'ensemble des concepts étudiés ont été acquis.