Titre : Indexation cross-média des documents audio-visuels sous

forme numérique.

 

Directrices de thèse : M. De Sainte-Catherine, J. Benois-Pineau

 

Labo/Equipe : LaBRI / Image et Son

 

Les recherches récentes dans le domaine d'indexation

multimédia montrent que dans diverses tâches d'indexation des contenus

audio-visuels sous forme numérique, la collaboration des extracteurs

des descripteurs audio-et vidéo dans des schémas décisionnels

probabilistes engendre des résultats plus pertinents que l'indexation

mono-média.

 

Les recherches menée à l'équipe Images et Son ont montré que la fusion

des indices du niveau moyen de la sémantique, tels que silences dans

le flux audio et les frontières des plans de type « coupure »

permettent de segmenter des flux de télédiffusion en scènes

sémantiques génériques avec des bons taux de rappel et de la

précision.

 

Dans le cadre de cette thèse il s'agit d'étudier les modalités de

fusion des descripteurs connus comme les descripteurs normalisées

MPEG7 du flux vidéo, des nouveaux descripteurs de la vidéo permettant

la caractérisation aussi bien dynamique que spatiale des scènes

visuelles.

 

En ce qui concerne le flux audio, le développement de méthodes

d'extraction de descripteurs audio bas-niveau est envisagé, avec en

particulier, l'analyse acoustique du lieu de la prise de son, pour

déterminer si la scène est extérieure ou intérieure. L'objectif est

aussi d'aboutir à une classification fine des bruits afin de passer à

un niveau sémantique.

 

Finalement, une analyse collaborative des deux médias et une

méthodologie de fusion adaptée ( classification supervisée et

non-supervisée) dans un espace commun sont à élaborer pour une

indexation en scènes de typologie prédéfinie (comme par exemple

intérieur/extérieur) ou en scènes génériques, sans modèles connus a

priori.