Analyse et interprétation par apprentissage

Le problème de détection de visages est un problème classique de reconnaissance de formes qui peut s'énoncer de la façon suivante : considérant une image d'entrée quelconque, qu'elle soit scannée ou extraite d'un flux vidéo, il s'agit de déterminer la présence ou non d'un ou plusieurs visages humains dans cette image. Dans le cas d'une détection il sera nécessaire par la suite de retourner par un codage la position spatiale de chaque visage dans l'image avec un rectangle par exemple. Si ce problème de détection est déjà largement utile par lui-même, la détection de visages est, de plus, une étape préalable à la reconnaissance de visage (identification de personnes).
Dans notre travail nous nous sommes basés sur la détection des visages dans l’espace de luminance par le formalisme SVM prenant pour départ les travaux [E. E. Osuna and Girosi, 1997]. Une série de pré-traitements et une approche en multi-résolution a permit de réduire l’espace de recherche et de pouvoir détecter les visages de taille différente.
Ensuite nous avons mis en collaboration les deux détecteurs : l’un basé sur les SVM et l’autre sur l’apprentissage de la couleur de la peau modélisée par Mélange des lois Gaussiennes. La collaboration des deux détecteurs par filtrage itéré des résultats de la détection et du filtrage géométrique a permit d’une part de restreindre les domaines d’apprentissage dans les deux espaces et d’augmenter le taux de la détection pour des poses complexes.


Résultat de la détection sur le documentaire « Quel temps font-ils », CERIMES ©

Une autre approche consiste à combiner les résultats des détecteurs OpenCV avec des approches par le suivi temporel. Nos outils sont utilisés comme extracteurs des indices caractéristiques de niveau moyen au sein du consortium IRIM/GDR ISIS dans les campagnes de TREC 2008-2010.

Le but de ces travaux consiste à développer un logiciel de détection des zones en mouvement dans une scène de surveillance vidéo. Grâce à une caméra fixe qui capture un flux vidéo, on se propose d'extraire les objets en mouvement en considérant une approche à deux classes: “fond” fixe et objet en mouvement.
Nous nous sommes particulièrement intéressés à la façon d'apprendre automatiquement un fond afin d'une part de séparer au mieux les objets en mouvement des autres mais aussi afin que notre système ne soit pas tributaire des variations de luminosité au cours du temps ou de tout autre bruit extérieur: petit mouvement, brouillard...
Conçu en considérant chaque pixel comme étant un processus statistique indépendant les uns des autres et en supposant que les valeurs de chaque pixel suivent une succession de lois normales au cours du temps, ce modèle est mis à jour en temps réel par des outils mathématiques que nous avons développés et implémentés afin de créer une cohérence non seulement temporelle mais également spatiale du résultat obtenu.
Les exemples disponibles ci-dessous présentent quelques résultats sur des séquences de test typiques de vidéo surveillance une étant de l’extérieur et l’autre représente une scène vidéo au format HD 1080p.



Corpus LaBRI ©

Ces travaux sont issus de la thèse de L. Carminati et de collaboration avec la société VisualPix ©

La méthodologie classique du filtrage à particule SIS a été complété par une stratégie multirésolution sur les pyramides des trames vidéos dans l'espace couleur adapté HSV. L'élégance de l'approche consiste en l'utilisation du même modèle pour la prédiction aussi bien spatiale que temporelle et les tests statistiques indépendants (Kolmogorov-Smirnov) afin de répondre au problème d'occulation. Cette approche a été étendue au cas multicaméras.


Corpus LaBRI ©



Nos travaux visent à analyser et détecter des comportements spécifiques dans des points de vente. Nous sommes tout particulièrement intéressés par la détection d'événements tels que l'intérêt et les interactions avec des produits dont nous connaissons l'emplacement. Notre système est basé sur un suivi des objets en mouvement dans la scène. Pour chaque personne suivie nous déterminons l’état dans lequel elle se trouve, basé sur un modèle de comportement. La suite d’états détectés nous permet de réaliser une interprétation sémantique et de déterminer un scenario (prédéfini) suivi par chaque personne dans la scène.

 

Résultats pour une sequence où deux personnes sont suivies et analysées (à gauche)
Résultats pour une séquence prise en environnement réel (à droite)

Le but de la classification d'image est d'arriver à organiser automatiquement les images en fonction de leur contenu (par exemple, paysage, portraits, animaux, etc.). La difficulté de cette tâche, réside dans le fossé sémantique entre les descripteurs de "bas niveaux" que l'ont peut extraire des images (couleurs, textures, formes) et l'interprétation que l'on en fait. Le but des recherches en classification locale d'image est de permettre une granularité plus fine de l'indexation et de la compréhension des images. Une image n'est plus non seulement classifiée globalement (ex: image d'intérieur de voiture), mais on cherche a détecter des objets spécifiques à l'intérieur de l'image, tels que le volant, le levier de vitesse, les conduits d'aération... Les applications sont nombreuses, notamment dans l'industrie. Les outils mathématiques impliqués sont l'apprentissage par des méthodes statistiques (Séparateurs à Vaste Marge).


A2MAC1 ©

La transmission en temps réel de vidéos à très bas débit est un axe de recherche très actif. En effet, les besoins et les contraintes imposés par la téléphonie mobile ou la télésurveillance par Internet, sont un fort taux de compression, avec conservation d'une qualité d'image suffisante, mais surtout une faible complexité de calcul. A l'heure actuelle, le meilleur standard permettant de répondre à ces besoins de compression et de qualité d'image, est la norme H.264. Cette dernière est la plus aboutie du point du vue du compromis débit/distorsion, cependant la complexité de traitement engendrée par les nombreuses possibilités du standard, rend problématique un codage optimal en temps réel. La réduction du coût opératoire de ce codage est primordiale car les premiers outils de vidéocommunication sur des supports à très bas débit (téléphones mobiles) font leur apparition, et la norme H.264 serait parfaitement adaptée à ce type d'applications.
Dans nos travaux nous avons tiré partie du cadre particulier des applications de télésurveillance, ou visioconférence, avec caméra fixe. Dans ce cas précis il est possible de simplifier le processus d'encodage des zones fixes de l'image (comme le fond), et même de la plupart des zones mobiles. En effet, les mouvements qui surviennent dans ce type de vidéos sont essentiellement ceux des objets d'intérêt qui se déplacent. Ainsi, en identifiant précisément les zones appartenant à un objet en mouvement, ou celles faisant partie du fond (avec ou sans changements), nous pouvons adapter la qualité de codage intelligemment : nous codons avec plus de précision les zones appartenant à un objet d'intérêt, et plus grossièrement (voire pas du tout) les zones du fond. Ainsi nous gagnons un temps d'encodage important (gain de facteur 10 sur l'encodeur utilisé), tout en conservant une qualité et un débit équivalents. Les outils méthodologiques de cette approche représentent les détecteurs statistiques basés blocs implémentés en multi-échelle.


Corpus LaBRI ©
Ces travaux sont issus de la collaboration avec la société VisualPix ©