logo SuVIPP version anglaise version française

Présentation du Projet

Les accidents de la vie quotidienne et les conflits armés rendent toujours plus urgente la conception de prothèses intelligentes pour amputés. Mais contrôler ces appareillages reste difficile, et leur coût prohibitif. La démocratisation et l’amélioration des prothèses constituent des enjeux sociétaux importants . Notre projet vise à avancer dans ces directions. Nous proposons de développer des technologies multimodales numériques pour un contrôle efficace des neuroprothèses par des amputés en situation écologique, à domicile. Elles doivent permettre une interaction aisée de leur porteur avec son environnement matériel et social.
L’analyse de l’information visuelle par apprentissage automatique à partir de caméra portée et d’outil de suivi du regard sera couplée aux signaux EMG des muscles. Un prototype matériel et logiciel avec un bras robotisé sera développé et testé sur des volontaires amputés.
Le projet fera progresser l’état de l’art dans la fusion d’information multimodale (électromyographie [EMG], vision) et la reconnaissance en temps réel d’objets naturels en contexte 2D/3D. La reconnaissance d’objets naturels en environnement écologique est un thème de recherche très actif du domaine de la vision par ordinateur. Le projet fera progresser l’état de l’art d’algorithmes efficaces basés sur les réseaux neuronaux de convolution à apprentissage profond, domaine dans lequel le consortium a déjà acquis une expertise. Les scénarios usuels d’interaction des amputés avec leur environnement écologique impliquent d’adapter les techniques de reconnaissance. La solution réside en la combinaison de la méthodologie d’apprentissage incrémental avec l’apprentissage profond, ce qui représente un défi car ce dernier requiert une grande quantité de données d’apprentissage. Toutes les tâches de reconnaissance visuelle devront réagir en temps réel, ce qui ne pourra être accompli par une implémentation matérielle seule mais demande le développement de méthodes rapides.
L’utilisation de la vision par ordinateur dans le contrôle des prothèses est une piste nouvelle. Les travaux existants sont limités à l’orientation du poignet et à l’ouverture/fermeture de la main artificielle. Le prototype sera développé sur la plateforme OpenSource POPPY. Celle-ci permet la personnalisation des prothèses et assure un prototypage rapide avec de capteurs OpenSource disponibles. Tous ces composants et logiciels seront mis à disposition en OpenSource. L’intégration de la vision par ordinateur, de l’analyse EMG et des composants de contrôle POPPY sera réalisée sur une plateforme matérielle et logicielle incluant des composants distribués et portés. Le prototype sera testé à l’aide de scénarios de complexité progressive auxquels participeront des volontaires amputés. Les aspects éthiques seront abordés et traités conformément à la reglementaiton en vigueur.
Le consortium multidisciplinaire comprend des chercheurs en TI, des chercheurs en neurosciences sensorimotrices, en médecine d’un centre de rééducation spécialisé, et une association d’amputés.
logo des partenaires logo des partenaires logo des partenaires logo des partenaires logo des partenaires