Objectifs à court terme (dans le cadre du PEPS)
Le projet est un cadre applicatif immédiat pour :
- la production de statistiques sur le comportement (fréquences, durées)
- la détection de d’événements sonores typiques :
sonneries du téléphone,
parole / silence
- la comparaison exhaustive de l’évolution de caractéristiques AV extraites du contenu par matrice d’auto-similarité
- la segmentation d’un enregistrement en ses différentes phases d’activité
- une étude sur la détection d’événements, et en particulier d’événements récurrents,
constitution des résumés des activités des patients.
Dans le but de pouvoir exploiter utilement les enregistrements ainsi produits, nous entendons mener des travaux liés au paradigme du monitoring vidéo embarqué sur :
- Les outils du domaine de la reconnaissance des formes et de la fouille de données qui seraient pertinents pour aborder le problème. Nous devrons en particulier déterminer si les solutions par apprentissage sont envisageables dans ce contexte.
- Les méthodes de formulation de requêtes dans le but de localiser des situations d’intérêt pour les spécialistes,
- Les informations discriminantes qui caractérisent au mieux le comportement du patient afin de répondre à ces requêtes,
- Les informations sensibles, telles que localisation du sujet et des autres personnes dans les séquences acquises
- La manière d’intégrer des informations disponibles a priori dans le but d’affiner les résultats des processus d’analyse automatique (par exemple, le degré de la pathologie, le contexte thérapeutique du patient, ses antécédents, ses habitudes, etc).
Objectifs à moyen terme (continuation du projet au delà du PEPS)
Le projet PEPS doit permettre de déterminer l’ancrage applicatif des travaux qui seront menés. Pour cela, le paradigme d'exploitation du dispositif devra être clarifié. Nous devrons ainsi déterminer les contraintes liées au contexte et à l'environnement d'une mise en oeuvre réaliste, ainsi que les contraintes liées aux dispositifs techniques et humains. Nous devrons également avoir évalué la part d'interactivité sur le dispositif qui peut être dévolue au patient et au médecin, ou à l’accompagnateur.
Ce projet PEPS est également une étude de faisabilité qui doit permettre de cerner les problématiques et solutions possibles à inclure dans un projet à plus longue échéance. Dans cette perspective, nous pourrons envisager d’étudier des enregistrements moins contraints (diversification des lieux et des personnes côtoyées). Nous pouvons d’ores et déjà pressentir que ce projet à moyen terme devra conduire à aborder :
- La caractérisation de l’environnement sonore à travers la détection de sons spécifiques (télévision, radio, eau courante, rue, jardin, voix du patient, autres voix, etc)
- La caractérisation de l’environnement visuel (lieux et décors habituels, personnes, etc)
- Le moyen de dresser l’inventaire :
- Des personnes côtoyées, de définir leur rôle, et d’indexer leurs interventions
- Des lieux fréquentés par la caractérisation audio et vidéo de différents sites possibles (pièces de la maison, lieux extérieurs (rue, jardin, …))
- La structuration hiérarchique d’un enregistrement d’une journée en phases d’activités
- Les problèmes de modélisation des différents types de comportements à traiter, et notamment les modalités d’expression d’un scénario (par exemple à l’aide d’une grammaire ad’hoc)
- La détection des occurrences d’événements caractéristiques (identifiés préalablement dans le cadre du projet PEPS)