LEGO Dataset

Large Egocentric Gaze Objects Dataset

Objects used for grasping actions in this dataset

Ce corpus à été enregistré dans le cadre du projet PEPS CNRS-Idex SuVIPP 2015/216, dans le but d'étudier la possibilitée de reconnaître les objets qu'un sujet, ayant subit une amputation, et utilisant une neuro-prothèse à contrôle myoelectric, voudrait saisir. D'abord en localisant l'objet d'interet grâce au suivi de regard (eye-tracking), puis en reconnaissant ce dernier grace à un réseau de neurones convolutionnel profond, nous éspèrons améliorer le conrôle des nombreux degrés de libertés de ce type de prothèse, durant les actions de préhention. L'idée clé étant que l'objet d'interet est au centre de l'attention visuelle du sujet, avant même que toute action de préhention n'ait été initiée, comme ulitré dans la video ci-dessous.

Example de video permettant de visualiser l'attention visuelle comme une carte de chaleur

Cadre Experimental et Protocole

Toutes nos videos expérimentales ont été enregistrées avec les lunettes "Tobii Pro Glasses 2". Ces lunettes incluent une camera full HD 25Hz ainsi qu'un eye-tracker 50Hz. Le sujet executant l'experience est assis à une table blache placée contre un mur blanc lui aussi. Il porte les lunettes qui dans un premier temp sont calibrées. Puis le sujet ferme les yeux: c'est pour éviter qu'il ne voie la table quand l'expérimentateur plaçe les objets, et qu'il ait déjà une image mentale de la scène en commençant l'experience. 4 objets parmis les 8 catégories sont placés sur la table, alignés. Le sujet recoit les instructions orales de saisir un objet précis, par example "Cube rouge". Dans le même temps l'expérimentateur commence l'enregistrement. Le sujet ouvre alors les yeux, et éxécute la tache demandée. L'enregistrement est terminé juste après que le sujet ait saisi l'object indiqué.


Un sujet s'éssayant à l'expérience.

Autorisation

CNIL: SupCLI, date d'inscription au registre de l'université de Bordeaux 02/03/2016.

Téléchargements

Le corpus sera disponible prochainement.
Pour obtenir accès dès à présent au dataset merci de contacter par couriel le Pr. Benois-Pineau: benois-p@labri.fr

Si vous utilisez ce corpus video, merci de citer notre publication ARXIV en rapport à ces travaux.

Description détailée

Le tableau ci-dessous présente le nombre de vidéos pour chaque catégorie d'objets.

Number of videos per-category
Category #Videos
Cone 22
Cylinder 7
Hemisphere 14
Hexagonal_Prism 17
Rectangular_Prism 28
Rectangular_Pyramid 17
Triangular_Prism 26
Triangular_Pyramid 18
Bad 10
Total 159