Segmentation/Indexation basée mouvement et luminance/couleur

Dans l'ensemble global des tâches d'indexation des contenus vidéos, l'indexation des objets sémantiques est d'une importance primordiale car il est naturel de supposer que la plupart des informations sont contenues dans les objets en avant-plan. L'objectif de cette étude consiste donc à extraire des objets sémantiques dans le cadre du paradigme de l’Indexation Primaire. Ainsi nous utilisons les informations de mouvement associées aux informations de couleur extraites des flux compressés SD tels que MPEG2. Nous savons qu'un objet en avant-plan ne suit généralement pas le mouvement de la camera, alors l'observation des vecteurs de mouvement MPEG2 nous permet déjà d'isoler les régions qui ont des paramètres de mouvement différents de la camera. Les régions obtenues avec les informations de mouvement sont très bruitées et ne recouvrent pas parfaitement les objets. Pour affiner les régions obtenues nous utilisons les informations de couleur de l'objet, cela nous permet de déterminer si la zone appartient effectivement à l'objet. Un lissage spatio-temporel par une super quadrique permet de récupérer les manques de la détection et de filtrer les détections parasites. Ainsi, grâce à cet outil nous disposons du nombre d'objets et de leur forme, nous pouvons ensuite les caractériser par leurs couleurs et leurs mouvements, ce qui apporte un haut niveau de description d'un document vidéo.



CERIMES ©

Les exemples ci-dessus montrent l'extraction des objets en avant-plan à la résolution temporelle des images I dans le flux MPEG2 et à la résolution spatiale des images DC d'un plan de montage de documentaire.
Ce travail est issue des travaux de Thèse de Francesca Manerba (co-tutelle avec l’Université de Brescia, Prof. Ricardo Leonardi)

Il s’agit ici de prendre en compte la qualité très supérieure des vidéos Haute Définition. D’une part, les images du flux sont de résolution plus de deux fois supérieure à celle d’un flux classique, ce qui augmente d’autant les temps de calcul. Il est alors nécessaire de travailler sur des images de plus faible résolution tout en développant des méthodes de projection fine à pleine résolution. D’autre part, les images ne présentent pas les mêmes caractéristiques (en terme de flou par exemple). Il est donc nécessaire de proposer de nouveaux modèles adaptés.


Corpus LaBRI ©

Afin de tester les méthodes d'indexation, nous avons élaboré le corpus vidéo HD. Ce corpus est composé de clips avec les versions originales et des versions transformées par transformations affines ou effets d'éditions. Il est hébérgé par le projet open-video.org.

En poursuivant la démarche d'extraction/indexation des objets sur les pyramides des ondelettes du JPEG 2000 nous avons abouti à un descripteur global statistique par objet, par des histogrammes des coefficients des ondelettes. Dans le contexte de requête par objets le descripteur s'avère plus performant que SIFT.

Des codecs vidéo scalables permettent d'extraire des flux dans une moindre résolution spatio-temporelle ou dans une moindre qualité. Des exemples pour des codecs scalables sont H.264 / SVC (Scalable Video Coding), un additif du codeur bien connu H .264 / AVC, et Motion-JPEG2000, qui est basé sur une transformation en ondelettes. La scalabilité des flux vidéo compressés peut être utilisée pour une indexation efficace, ce qui est surtout important si on traite des images de Haute-Définition (HD), avec des résolutions jusqu'à 1920x1080 pixels.


© Warner Bros. Adv. Media Services
Extraction des vecteurs de déplacement du standard H264 SVC


Séquence analysée

Masques des blocs de mouvements

Filtrage et objet détecté

L'un des objectifs de l'indexation vidéo consiste à être capable de regrouper l'ensemble des plans qui contiennent le même objet. Ce travail vise à établir un taux de similarité entre les objets d'avant plan extraits en vue de classifier les plans selon leur contenu. La méthode consiste dans un premier temps à modéliser les objets segmentés sous forme de leur graphe d'adjacence des régions. Les graphes sont ensuite soumis à une étape de prétraitement par fusion de noeuds dans le but de réduire le bruit induit par les méthodes de segmentation et d'extraction des objets opérant dans le cadre du paradigme de "Rough Indexing". Enfin, nous comparons les graphes via une méthode de mise en correspondance facilitée par la phase préalable de simplification des graphes. Nous avons développé deux méthodes de mise en correspondance. La première s'appuie sur les techniques de relaxation stochastique qui exploitent informations locales sur le voisinage des régions pour l'identification. La seconde est basée sur une étude structurelle des graphes par des outils combinatoires. La mesure de similarité établie entre une paire d'objets dépend de la proportion identifiée comme étant similaire dans les deux objets.


CERIMES © documentaires SFRS : "De l'arbre à l'ouvrage" à gauche et "Aquaculture en Méditerranée" à droite

Les exemples ci-dessus présentent les résultats de la mise en correspondance sur des objets de premier plan à la résolution spatiale des images DC des documentaires.
Ces travaux ont été réalisés en collaboration avec l'équipe MaBioVis, thème Visualisation des grandes masses de données, (responsable Prof. Maylis Delest).