13:00
14:00

Séminaire TAD

Représentation du dialogue et fusion multimodale pour l'analyse des causes d'émotions

Pavel Kral (Czech University)

Nous présentons une approche pour résoudre la tâche 3 de SemEval-2024 : la
compétition d'analyse multimodale des causes d'émotions dans les
conversations. La tâche comprend deux sous-tâches qui se concentrent sur
l'extraction de paires émotion-cause à l'aide de modalités texte, vidéo et
audio. Notre approche consiste à encoder toutes les modalités (MFCC et Wav2Vec
pour l'audio, 3D-CNN pour la vidéo et des modèles basés sur des
transformateurs pour le texte) et à les combiner dans un module de fusion au
niveau de l'énoncé. Le modèle est ensuite optimisé pour la prédiction
simultanée des liens et des émotions. Notre approche a obtenu la 6e place dans
les deux sous-tâches.

Salle 76