Segmentation/Indexation basée mouvement et luminance/couleur

Dans l'ensemble global des tâches d'indexation des contenus vidéos, l'indexation des objets sémantiques est d'une importance primordiale car il est naturel de supposer que la plupart des informations sont contenues dans les objets en avant-plan. L'objectif de cette étude consiste donc à extraire des objets sémantiques dans le cadre du paradigme de l’Indexation Primaire. Ainsi nous utilisons les informations de mouvement associées aux informations de couleur extraites des flux compressés SD. Nous savons qu'un objet en avant-plan ne suit généralement pas le mouvement de la camera, alors l'observation des vecteurs de mouvement MPEG2 nous permet déjà d'isoler les régions qui ont des paramètres de mouvement différents de la camera. Les régions obtenues avec les informations de mouvement sont très bruitées et ne recouvrent pas parfaitement les objets. Pour affiner les régions obtenues nous utilisons les informations de couleur de l'objet, cela nous permet de déterminer si la zone appartient effectivement à l'objet. Un lissage spatio-temporel par une super quadrique permet de récupérer les manques de la détection et de filtrer les détections parasites. Ainsi, grâce à cet outil nous disposons du nombre d'objets et de leur forme, nous pouvons ensuite les caractériser par leurs couleurs et leurs mouvements, ce qui apporte un haut niveau de description d'un document vidéo.



CERIMES ©

Les exemples ci-dessus montrent l'extraction des objets en avant-plan à la résolution temporelle des images I dans le flux MPEG2 et à la résolution spatiale des images DC d'un plan de montage de documentaire.
Ce travail est issue des travaux de Thèse de Francesca Manerba (co-tutelle avec l’Université de Brescia, Prof. Ricardo Leonardi)

Il s’agit ici de prendre en compte la qualité très supérieure des vidéos Haute Définition. D’une part, les images du flux sont de résolution plus de deux fois supérieure à celle d’un flux classique, ce qui augmente d’autant les temps de calcul. Il est alors nécessaire de travailler sur des images de plus faible résolution tout en développant des méthodes de projection fine à pleine résolution. D’autre part, les images ne présentent pas les mêmes caractéristiques (en terme de flou par exemple). Il est donc nécessaire de proposer de nouveaux modèles adaptés.


Corpus LaBRI ©

Afin de tester les méthodes d'indexation, nous avons élaboré le corpus vidéo HD. Ce corpus est composé de clips avec les versions originales et des versions transformées par transformations affines ou effets d'éditions. Il est hébérgé par le projet open-video.org.

En poursuivant la démarche d'extraction/indexation des objets sur les pyramides des ondelettes du JPEG 2000 nous avons abouti à un descripteur global statistique par objet, par des histogrammes des coefficients des ondelettes. Dans le contexte de requête par objets le descripteur s'avère plus performant que SIFT.

Des codecs vidéo scalables permettent d'extraire des flux dans une moindre résolution spatio-temporelle ou dans une moindre qualité. Des exemples pour des codecs scalables sont H.264 / SVC (Scalable Video Coding), un additif du codeur bien connu H .264 / AVC, et Motion-JPEG2000, qui est basé sur une transformation en ondelettes. La scalabilité des flux vidéo compressés peut être utilisée pour une indexation efficace, ce qui est surtout important si on traite des images de Haute-Définition (HD), avec des résolutions jusqu'à 1920x1080 pixels.


© Warner Bros. Adv. Media Services
Extraction des vecteurs de déplacement du standard H264 SVC


Séquence analysée

Masques des blocs de mouvements

Filtrage et objet détecté

Les résaux neuronaux profonds à convolution sont devenus les outils méthodologiques de l'état de l'art pour différents problèmes de reconnaissance visuelle. Nous nous intéresseons à la reconnaissance d'objets dans des vidéos. Il s'agit ici de pouvoir travailler avec des scènes simples servant de la preuve du concept pour le développement de la robotique assistive aidée par la vision par ordinateur. Nous avons dévéloppé des méthodes permettant de selectionner les objets d'intérêt en utilisant les points de fixation du regard de la personne exprimant son intention. Des méthodes de filtrage variées du bruit dans les points de fixations permettent de selectionner les données d'apprentisage de façon robuste.

Les scènes vidéo naturelles dans des environnements écologiques content beaucoup d'objets nécessitent la conception d'architectures CNN mais aussi des LSTM permettant de prédire et de reconnaître l'objet à saisir.

Philippe Pérez de San Roman, Jenny Benois-Pineau, Jean-Philippe Domenger, Florent Paclet, Daniel Cattaert, Aymar de Rugy: Saliency Driven Object recognition in egocentric videos with deep CNN: toward application in assistance to Neuroprostheses. Computer Vision and Image Understanding 164: 82-91 (2017)
Iván González-Díaz, Jenny Benois-Pineau, Jean-Philippe Domenger, Aymar de Rugy: Perceptually-guided Understanding of Egocentric Video Content: Recognition of Objects to Grasp. ICMR 2018: 434-441