Titre : Indexation cross-média des documents audio-visuels
sous
forme numérique.
Directrices de thèse : M. De Sainte-Catherine, J. Benois-Pineau
Labo/Equipe : LaBRI / Image et Son
Les recherches récentes dans le domaine d'indexation
multimédia montrent que dans
diverses tâches d'indexation des contenus
audio-visuels sous forme numérique,
la collaboration des extracteurs
des descripteurs audio-et vidéo
dans des schémas décisionnels
probabilistes engendre des résultats
plus pertinents que l'indexation
mono-média.
Les recherches menée à l'équipe
Images et Son ont montré que la fusion
des indices du niveau moyen de la sémantique,
tels que silences dans
le flux audio et les frontières des
plans de type « coupure »
permettent de segmenter des flux de
télédiffusion en scènes
sémantiques génériques avec des
bons taux de rappel et de la
précision.
Dans le cadre de cette thèse il s'agit d'étudier les modalités
de
fusion des descripteurs connus
comme les descripteurs normalisées
MPEG7 du flux vidéo, des nouveaux descripteurs de la vidéo
permettant
la caractérisation aussi bien
dynamique que spatiale des scènes
visuelles.
En ce qui concerne le flux audio, le développement de méthodes
d'extraction de descripteurs audio
bas-niveau est envisagé, avec en
particulier, l'analyse acoustique
du lieu de la prise de son, pour
déterminer si la scène est extérieure
ou intérieure. L'objectif est
aussi d'aboutir à une
classification fine des bruits afin de passer à
un niveau sémantique.
Finalement, une analyse collaborative des deux médias et une
méthodologie de fusion adaptée ( classification
supervisée et
non-supervisée) dans un espace
commun sont à élaborer pour une
indexation en scènes de typologie
prédéfinie (comme par exemple
intérieur/extérieur) ou en scènes génériques,
sans modèles connus a
priori.