Les accidents de la vie quotidienne et les conflits armés rendent toujours plus urgente la conception
de prothèses intelligentes pour amputés. Mais contrôler ces appareillages reste difficile, et leur coût
prohibitif. La démocratisation et l’amélioration des prothèses constituent des enjeux sociétaux importants
. Notre projet vise à avancer dans ces directions. Nous proposons de développer des technologies
multimodales numériques pour un contrôle efficace des neuroprothèses par des amputés en situation écologique,
à domicile. Elles doivent permettre une interaction aisée de leur porteur avec son environnement matériel et
social.
L’analyse de l’information visuelle par apprentissage automatique à partir de caméra portée et d’outil de
suivi du regard sera couplée aux signaux EMG des muscles. Un prototype matériel et logiciel avec un bras
robotisé sera développé et testé sur des volontaires amputés.
Le projet fera progresser l’état de l’art dans la fusion d’information multimodale (électromyographie [EMG],
vision) et la reconnaissance en temps réel d’objets naturels en contexte 2D/3D. La reconnaissance d’objets
naturels en environnement écologique est un thème de recherche très actif du domaine de la vision par
ordinateur. Le projet fera progresser l’état de l’art d’algorithmes efficaces basés sur les réseaux neuronaux
de convolution à apprentissage profond, domaine dans lequel le consortium a déjà acquis une expertise. Les
scénarios usuels d’interaction des amputés avec leur environnement écologique impliquent d’adapter les
techniques de reconnaissance. La solution réside en la combinaison de la méthodologie d’apprentissage incrémental
avec l’apprentissage profond, ce qui représente un défi car ce dernier requiert une grande quantité de données
d’apprentissage. Toutes les tâches de reconnaissance visuelle devront réagir en temps réel, ce qui ne pourra
être accompli par une implémentation matérielle seule mais demande le développement de méthodes rapides.
L’utilisation de la vision par ordinateur dans le contrôle des prothèses est une piste nouvelle. Les travaux
existants sont limités à l’orientation du poignet et à l’ouverture/fermeture de la main artificielle. Le prototype sera développé sur la plateforme OpenSource POPPY. Celle-ci permet la personnalisation
des prothèses et assure un prototypage rapide avec de capteurs OpenSource disponibles. Tous ces composants et
logiciels seront mis à disposition en OpenSource. L’intégration de la vision par ordinateur, de l’analyse EMG
et des composants de contrôle POPPY sera réalisée sur une plateforme matérielle et logicielle incluant des
composants distribués et portés. Le prototype sera testé à l’aide de scénarios de complexité progressive
auxquels participeront des volontaires amputés. Les aspects éthiques seront abordés et traités conformément à
la reglementaiton en vigueur.
Le consortium multidisciplinaire comprend des chercheurs en TI, des chercheurs en neurosciences sensorimotrices,
en médecine d’un centre de rééducation spécialisé, et une association
d’amputés.