Dans l'ensemble global des tâches d'indexation des contenus vidéos, l'indexation des objets sémantiques est d'une importance primordiale car il est naturel de supposer que la plupart des informations sont contenues dans les objets en avant-plan. L'objectif de cette étude consiste donc à extraire des objets sémantiques dans le cadre du paradigme de l’Indexation Primaire. Ainsi nous utilisons les informations de mouvement associées aux informations de couleur extraites des flux compressés SD. Nous savons qu'un objet en avant-plan ne suit généralement pas le mouvement de la camera, alors l'observation des vecteurs de mouvement MPEG2 nous permet déjà d'isoler les régions qui ont des paramètres de mouvement différents de la camera. Les régions obtenues avec les informations de mouvement sont très bruitées et ne recouvrent pas parfaitement les objets. Pour affiner les régions obtenues nous utilisons les informations de couleur de l'objet, cela nous permet de déterminer si la zone appartient effectivement à l'objet. Un lissage spatio-temporel par une super quadrique permet de récupérer les manques de la détection et de filtrer les détections parasites. Ainsi, grâce à cet outil nous disposons du nombre d'objets et de leur forme, nous pouvons ensuite les caractériser par leurs couleurs et leurs mouvements, ce qui apporte un haut niveau de description d'un document vidéo.




CERIMES ©
Les exemples ci-dessus montrent l'extraction des objets en avant-plan à la résolution temporelle des images I dans le flux MPEG2 et à la résolution spatiale des images DC d'un plan de montage de documentaire.
Ce travail est issue des travaux de Thèse de Francesca Manerba (co-tutelle avec l’Université de Brescia, Prof. Ricardo Leonardi)