Macro Segmentation/Indexation des documents vidéo

Dans la continuité du projet Monitoring Vidéo Embarqué, le projet IMMED a pour but l'aide au diagnostic des démences liées à l'âge. Des recherches récentes en médecine ont montré que les premiers signes de l'apparition de démences liées à l'âge, notamment la maladie d'Alzheimer, sont une perte d'autonomie qui se ressent principalement sur les activités du quotidien. Le travail du groupe AIV est de fournir des outils de structuration du flux vidéo issu de caméra embarqué, pour faciliter la navigation au sein de la vidéo entre les activités du quotidiens. La structuration s'effectue par un modèle de markov caché. Il s'agit également de développer des descripteurs moyen niveau permettant de capturer de l'information faiblement sémantique tel que le mouvement des mains et l'éventuel saisi d'un objet.


Exemples d'images extraites de la vidéo embarquée

Le problème consiste à identifier dans des vidéos complexes naturelles des objets d'intérêts. A ces fins, nous avons développé une nouvelle version des descripteurs SURF couleur, où l'information couleur est prise à l'échelle correspondant à l'échelle du point caractéristique détecté.


Exemple de détection de points SURF couleurs. Le carré vert correspond au point SURF, le bleu à la position au Nord du point SURF et le rouge au Sud.

La prise en compte du contexte spatiale est assurée dans notre nouveau descripteur semi-local, le Graph Word, qui est développé pour l'approche de l'état de l'art Bag-of-Words (BoW).


Illustration du descripteur Graph Word.

Une vidéo au format MPEG est constituée de 3 types d'images : les images I, P et B. Les images I sont codées en « spatial » ce qui signifie que l'on utilise pas de référence aux autres images pour effectuer le codage. Les images P sont « prédites » par rapport à l'image I ou P précédente, cette prédiction se fait par la compensation du mouvement entre les deux images. Enfin, les images B sont interpolées entre les deux images P (ou I et P) les plus proches. Les images se suivent selon la structure suivante : I B(B) P B(B) P...P B(B) I... avec une image I toute les 12 (ou 15) images. Pour les images P le mouvement est caractérisé par des vecteurs associés à chaque « macrobloc/bloc » de l'image. Le champ vectoriel ainsi constitué fournit à la fois les informations de mouvement des objets, en avant plan, mais aussi celles du fond, en arrière plan, visible sur l'image. Il est alors indispensable de savoir distinguer ces deux informations. Pour cela nous cherchons à extraire le mouvement global de chaque image P, généralement celui de la caméra, ce qui nous permettra à la fois de détecter la non-continuité de ce mouvement entre certaines images (changement de plan), et d'extraire les objets en avant plan dans les scènes. Les outils méthodologiques représentent la modélisation du mouvement global par le modèle affine (de 3 à 6 paramètres) et l'estimation robuste des paramètres de ces modèles. Des techniques de multi-résolution adaptées permettent une estimation adéquate avec le rejet des mesures aberrantes sur des champs de déplacements macroblocs très bruités issus des flux binaires MPEG. Les figures ci-dessous illustrent ces méthodes.

Les variations temporelles des paramètres du mouvement global estimé combinées avec le facteur de qualité d'estimation et avec la quantité des blocs codés en mode intra-image permettent de détecter les changements des plans de montage. Les outils mathématiques déployés représentent les détecteurs statistiques basés sur la modélisation d'une fonction de ces mesures par des processus stochastiques suivant les lois normales. La fonction de mesures est analysée "à la volée" afin d'en extraire les pics correspondants à des changements de plans. Pour les images I un outil spécifique de mesure de similarité est développé afin de détecter les changements de plan intervenant sur ces images.



Les images ci dessus montrent la mise en correspondance des images I à la résolution DC pour la détection des changements de plan.


CERIMES ©

Nous avons réalisé une interface graphique permettant de visualiser la fonction de mesures ainsi que les frontières de plans détectées. Grâce à cette interface nous pouvons instantanément visualiser les plans indexés, les commenter, et aussi corriger les erreurs de détection. Cette indexation se fait en temps réel sur un ordinateur domestique standard pour une vidéo au format MPEG2 de résolution 720*576.


Dans le cadre de ce travail, nous proposons un algorithme de super-résolution, basé sur des rétro-projections itératives (Irani, Peleg), pour les mosaïques spatio-temporelles (image panoramique d'une séquence d'images). La nouveauté est que ces mosaïques sont construites à partir des images DC (un pixel dans l'image DC correspond à la moyenne d'un bloc 8x8 dans l'image originale) qui sont extraites directement du flux compressé MPEG. Les images DC sont caractérisées par une résolution très faible et une forte dégradation due à l'effet d'aliasing et de flou.
Afin d'estimer le mouvement entre chaque image de la séquence par rapport à l'image de référence, nous utilisons l’estimateur de mouvement robustes à partir des vecteurs de déplacement du flux compressé. L'estimateur robuste proposé calcule à partir des champs vectoriels le modèle affine à 6 paramètres du mouvement. Cependant cette information de mouvement n'est pas disponible dans tous les types d'images dans le flux compressé, nous avons donc proposé une méthode d'extrapolation du mouvement dans le cas où l'information serait manquante. Malheureusement lors du mécanisme de super-résolution, si on superpose toutes les images de la séquence sans proposer de méthode de restauration, l'image de super-résolution sera de moins bonne qualité que les images originales du fait qu'elle amplifie les différentes dégradations. Par conséquent, une méthode de restauration couplée à l'algorithme de super-résolution a été proposé.
Pour proposer un algorithme performant de restauration de l'image, il faut au préalable déterminer différents paramètres de la dégradation comme par exemple les flous naturels engendrés par des mouvements de caméra arbitraires ou des effets atmosphériques. Nous avons proposé une méthode de détermination de flou basée sur la réponse du contour dans la direction de mouvement connu à partir du modèle de mouvement.
Deux méthodes de restauration: globale dans le domaine spectral, et locale dans l’espace image ont été mises en oeuvre et permettent la restauration sélective du fond de la scène et des objets.
Domaines d'application:

  • navigation visuelle rapide dans les documents vidéo avec affichage adapte
  • augmentation de le résolution de la vidéo basse résolution corrompue par le flou
  • dissimulation des erreurs de transmissions dans le cas de forte pertes des coefficients des blocs
  • génération d'images biomédicales (ex: organes en mouvement à partir des séquences d'images de faible résolution)
  • l'agrandissement d'image



CERIMES ©