LEGO Dataset

Large Egocentric Gaze Objects Dataset

Objects used for grasping actions in this dataset

Ce corpus à été enregistré dans le cadre du projet PEPS CNRS-Idex SuVIPP 2015/216, dans le but d'étudier la possibilitée de reconnaître les objets qu'un sujet, ayant subit une amputation, et utilisant une neuro-prothèse à contrôle myoelectric, voudrait saisir. D'abord en localisant l'objet d'interet grâce au suivi de regard (eye-tracking), puis en reconnaissant ce dernier grace à un réseau de neurones convolutionnel profond, nous éspèrons améliorer le conrôle des nombreux degrés de libertés de ce type de prothèse, durant les actions de préhention. L'idée clé étant que l'objet d'interet est au centre de l'attention visuelle du sujet, avant même que toute action de préhention n'ait été initiée, comme ulitré dans la video ci-dessous.

Example de video permettant de visualiser l'attention visuelle comme une carte de chaleur

Cadre Experimental et Protocole

Toutes nos videos expérimentales ont été enregistrées avec les lunettes "Tobii Pro Glasses 2". Ces lunettes incluent une camera full HD 25Hz ainsi qu'un eye-tracker 50Hz. Le sujet executant l'experience est assis à une table blache placée contre un mur blanc lui aussi. Il porte les lunettes qui dans un premier temp sont calibrées. Puis le sujet ferme les yeux: c'est pour éviter qu'il ne voie la table quand l'expérimentateur plaçe les objets, et qu'il ait déjà une image mentale de la scène en commençant l'experience. 4 objets parmis les 8 catégories sont placés sur la table, alignés. Le sujet recoit les instructions orales de saisir un objet précis, par example "Cube rouge". Dans le même temps l'expérimentateur commence l'enregistrement. Le sujet ouvre alors les yeux, et éxécute la tache demandée. L'enregistrement est terminé juste après que le sujet ait saisi l'object indiqué.


Un sujet s'éssayant à l'expérience.

Autorisation

CNIL: SupCLI, date d'inscription au registre de l'université de Bordeaux 02/03/2016.

Téléchargements

Dataset complet:
Tableau descriptif: ,

Si vous utilisez ce corpus video, merci de citer notre publication ARXIV en rapport à ces travaux.

Description détailée

Le tableau ci-dessous présente le nombre de vidéos pour chaque catégorie d'objets.

Number of videos per-category
Category #Videos
Cone 22
Cylinder 7
Hemisphere 14
Hexagonal_Prism 17
Rectangular_Prism 28
Rectangular_Pyramid 17
Triangular_Prism 26
Triangular_Pyramid 18
Bad 10
Total 159

Le tableau ci-dessous présente chaque vidéos et des statistiques individuelles et globals.

Nom Categorie Fichier Video Fichier Eye-Tracking Durée (ms) #Trames
0001_prismTri Triangular_Prism 0001_prismTri.mp4 0001_prismTri.json 9 560 240
0002_hemisphere Bad 0002_hemisphere.mp4 0002_hemisphere.json 14 880 373
0003_prismTri Bad 0003_prismTri.mp4 0003_prismTri.json 9 920 249
0004_cone Cone 0004_cone.mp4 0004_cone.json 9 920 165
0005_pyramidTri Triangular_Pyramid 0005_pyramidTri.mp4 0005_pyramidTri.json 11 800 296
0006_prismTri Triangular_Prism 0006_prismTri.mp4 0006_prismTri.json 5 760 145
0007_pyramidQuad Square_Pyramid 0007_pyramidQuad.mp4 0007_pyramidQuad.json 7 840 197
0008_hemisphere Hemisphere 0008_hemisphere.mp4 0008_hemisphere.json 6 800 171
0009_pyramidQuad Square_Pyramid 0009_pyramidQuad.mp4 0009_pyramidQuad.json 6 480 163
0010_pyramidTri Triangular_Pyramid 0010_pyramidTri.mp4 0010_pyramidTri.json 5 680 143
0011_cuboid Rectangular_Prism 0011_cuboid.mp4 0011_cuboid.json 5 240 132
0012_pyramidQuad Square_Pyramid 0012_pyramidQuad.mp4 0012_pyramidQuad.json 5 320 134
0013_hemisphere Hemisphere 0013_hemisphere.mp4 0013_hemisphere.json 5 440 137
0014_prismTri Triangular_Prism 0014_prismTri.mp4 0014_prismTri.json 5 960 150
0015_cone Cone 0015_cone.mp4 0015_cone.json 5 400 136
0016_prismTri Triangular_Prism 0016_prismTri.mp4 0016_prismTri.json 6 480 163
0017_cone Cone 0017_cone.mp4 0017_cone.json 5 880 148
0018_pyramidTri Triangular_Pyramid 0018_pyramidTri.mp4 0018_pyramidTri.json 5 120 129
0019_cuboid Rectangular_Prism 0019_cuboid.mp4 0019_cuboid.json 6 480 163
0020_cone Cone 0020_cone.mp4 0020_cone.json 6 040 152
0021_cuboid Rectangular_Prism 0021_cuboid.mp4 0021_cuboid.json 6 760 170
0022_pyramidTri Triangular_Pyramid 0022_pyramidTri.mp4 0022_pyramidTri.json 4 480 113
0023_prismTri Triangular_Prism 0023_prismTri.mp4 0023_prismTri.json 7 280 183
0024_prismTri Triangular_Prism 0024_prismTri.mp4 0024_prismTri.json 3 600 91
0025_pyramidTri Triangular_Pyramid 0025_pyramidTri.mp4 0025_pyramidTri.json 5 200 131
0026_cuboid Rectangular_Prism 0026_cuboid.mp4 0026_cuboid.json 6 480 163
0027_cuboid Rectangular_Prism 0027_cuboid.mp4 0027_cuboid.json 5 720 144
0028_prismTri Triangular_Prism 0028_prismTri.mp4 0028_prismTri.json 5 360 135
0029_cuboid Rectangular_Prism 0029_cuboid.mp4 0029_cuboid.json 4 720 119
0030_cone Cone 0030_cone.mp4 0030_cone.json 4 360 110
0031_cylinder Cylinder 0031_cylinder.mp4 0031_cylinder.json 6 160 155
0032_sphere Bad 0032_sphere.mp4 0032_sphere.json 7 520 189
0033_cone Bad 0033_cone.mp4 0033_cone.json 6 480 163
0034_pyramidTri Triangular_Pyramid 0034_pyramidTri.mp4 0034_pyramidTri.json 7 240 182
0036_prismTri Triangular_Prism 0036_prismTri.mp4 0036_prismTri.json 4 960 125
0037_pyramidTri Triangular_Pyramid 0037_pyramidTri.mp4 0037_pyramidTri.json 6 240 157
0038_prismHex Hexagonal_Prism 0038_prismHex.mp4 0038_prismHex.json 6 200 156
0039_pyramidQuad Square_Pyramid 0039_pyramidQuad.mp4 0039_pyramidQuad.json 4 080 103
0040_cone Cone 0040_cone.mp4 0040_cone.json 9 560 240
0041_cuboid Rectangular_Prism 0041_cuboid.mp4 0041_cuboid.json 6 840 172
0042_cone Cone 0042_cone.mp4 0042_cone.json 6 120 154
0043_prismHex Hexagonal_Prism 0043_prismHex.mp4 0043_prismHex.json 6 880 173
0044_prismTri Triangular_Prism 0044_prismTri.mp4 0044_prismTri.json 6 720 169
0045_prismTri Triangular_Prism 0045_prismTri.mp4 0045_prismTri.json 6 240 157
0046_cone Cone 0046_cone.mp4 0046_cone.json 10 680 268
0047_prismHex Hexagonal_Prism 0047_prismHex.mp4 0047_prismHex.json 7 800 196
0048_cuboid Rectangular_Prism 0048_cuboid.mp4 0048_cuboid.json 6 600 166
0049_cuboid Rectangular_Prism 0049_cuboid.mp4 0049_cuboid.json 7 200 181
0050_hemisphere Hemisphere 0050_hemisphere.mp4 0050_hemisphere.json 8 160 205
0051_prismTri Triangular_Prism 0051_prismTri.mp4 0051_prismTri.json 9 560 240
0052_prismHex Hexagonal_Prism 0052_prismHex.mp4 0052_prismHex.json 5 640 142
0053_hemisphere Hemisphere 0053_hemisphere.mp4 0053_hemisphere.json 8 400 211
0054_pyramidTri Triangular_Pyramid 0054_pyramidTri.mp4 0054_pyramidTri.json 5 720 144
0055_prismHex Hexagonal_Prism 0055_prismHex.mp4 0055_prismHex.json 5 080 128
0056_hemisphere Hemisphere 0056_hemisphere.mp4 0056_hemisphere.json 6 160 155
0057_cuboid Bad 0057_cuboid.mp4 0057_cuboid.json 7 680 193
0058_pyramidTri Triangular_Pyramid 0058_pyramidTri.mp4 0058_pyramidTri.json 6 320 159
0059_pyramidTri Triangular_Pyramid 0059_pyramidTri.mp4 0059_pyramidTri.json 6 280 158
0060_prismTri Triangular_Prism 0060_prismTri.mp4 0060_prismTri.json 5 880 148
0061_prismTri Triangular_Prism 0061_prismTri.mp4 0061_prismTri.json 6 840 172
0062_cone Cone 0062_cone.mp4 0062_cone.json 6 880 173
0063_hemisphere Hemisphere 0063_hemisphere.mp4 0063_hemisphere.json 6 320 159
0064_cone Cone 0064_cone.mp4 0064_cone.json 6 920 174
0065_pyramidQuad Square_Pyramid 0065_pyramidQuad.mp4 0065_pyramidQuad.json 8 080 203
0066_prismHex Hexagonal_Prism 0066_prismHex.mp4 0066_prismHex.json 4 680 118
0067_cuboid Rectangular_Prism 0067_cuboid.mp4 0067_cuboid.json 7 440 187
0068_cuboid Bad 0068_cuboid.mp4 0068_cuboid.json 6 000 151
0069_cuboid Bad 0069_cuboid.mp4 0069_cuboid.json 5 280 133
0070_cone Cone 0070_cone.mp4 0070_cone.json 7 320 184
0071_cone Cone 0071_cone.mp4 0071_cone.json 7 280 183
0072_pyramidQuad Square_Pyramid 0072_pyramidQuad.mp4 0072_pyramidQuad.json 6 840 172
0073_cuboid Rectangular_Prism 0073_cuboid.mp4 0073_cuboid.json 5 720 144
0074_cone Cone 0074_cone.mp4 0074_cone.json 5 280 133
0075_cone Cone 0075_cone.mp4 0075_cone.json 6 040 152
0076_pyramidTri Triangular_Pyramid 0076_pyramidTri.mp4 0076_pyramidTri.json 5 720 144
0077_pyramidQuad Bad 0077_pyramidQuad.mp4 0077_pyramidQuad.json 8 120 204
0078_prismHex Hexagonal_Prism 0078_prismHex.mp4 0078_prismHex.json 5 360 135
0079_pyramidQuad Square_Pyramid 0079_pyramidQuad.mp4 0079_pyramidQuad.json 5 560 140
0080_cuboid Rectangular_Prism 0080_cuboid.mp4 0080_cuboid.json 6 760 170
0081_prismHex Hexagonal_Prism 0081_prismHex.mp4 0081_prismHex.json 5 080 128
0082_cone Cone 0082_cone.mp4 0082_cone.json 9 960 250
0083_prismHex Hexagonal_Prism 0083_prismHex.mp4 0083_prismHex.json 6 800 171
0084_cuboid Rectangular_Prism 0084_cuboid.mp4 0084_cuboid.json 4 600 116
0085_pyramidQuad Square_Pyramid 0085_pyramidQuad.mp4 0085_pyramidQuad.json 5 240 132
0086_pyramidQuad Square_Pyramid 0086_pyramidQuad.mp4 0086_pyramidQuad.json 5 680 143
0087_cylinder Bad 0087_cylinder.mp4 0087_cylinder.json 6 720 169
0088_cuboid Rectangular_Prism 0088_cuboid.mp4 0088_cuboid.json 5 760 145
0089_cuboid Rectangular_Prism 0089_cuboid.mp4 0089_cuboid.json 6 080 153
0090_pyramidTri Triangular_Pyramid 0090_pyramidTri.mp4 0090_pyramidTri.json 7 320 184
0091_cuboid Rectangular_Prism 0091_cuboid.mp4 0091_cuboid.json 8 960 225
0092_prismTri Triangular_Prism 0092_prismTri.mp4 0092_prismTri.json 6 760 170
0093_pyramidTri Triangular_Pyramid 0093_pyramidTri.mp4 0093_pyramidTri.json 6 080 153
0094_pyramidQuad Square_Pyramid 0094_pyramidQuad.mp4 0094_pyramidQuad.json 5 760 145
0095_prismTri Triangular_Prism 0095_prismTri.mp4 0095_prismTri.json 7 360 185
0096_pyramidQuad Square_Pyramid 0096_pyramidQuad.mp4 0096_pyramidQuad.json 7 000 176
0097_pyramidTri Triangular_Pyramid 0097_pyramidTri.mp4 0097_pyramidTri.json 7 160 180
0098_cone Cone 0098_cone.mp4 0098_cone.json 6 480 163
0099_cuboid Rectangular_Prism 0099_cuboid.mp4 0099_cuboid.json 5 520 139
0100_pyramidTri Bad 0100_pyramidTri.mp4 0100_pyramidTri.json 7 640 192
0101_hemisphere Hemisphere 0101_hemisphere.mp4 0101_hemisphere.json 6 240 157
0102_cylinder Cylinder 0102_cylinder.mp4 0102_cylinder.json 6 640 167
0103_prismHex Hexagonal_Prism 0103_prismHex.mp4 0103_prismHex.json 6 600 166
0104_prismHex Hexagonal_Prism 0104_prismHex.mp4 0104_prismHex.json 6 120 154
0105_pyramidQuad Square_Pyramid 0105_pyramidQuad.mp4 0105_pyramidQuad.json 6 400 161
0106_cone Cone 0106_cone.mp4 0106_cone.json 5 640 142
0107_prismTri Triangular_Prism 0107_prismTri.mp4 0107_prismTri.json 6 800 171
0108_cuboid Rectangular_Prism 0108_cuboid.mp4 0108_cuboid.json 6 440 162
0109_cone Bad 0109_cone.mp4 0109_cone.json 6 480 163
0110_prismTri Triangular_Prism 0110_prismTri.mp4 0110_prismTri.json 9 640 242
0111_pyramidTri Bad 0111_pyramidTri.mp4 0111_pyramidTri.json 8 440 212
0112_hemisphere Hemisphere 0112_hemisphere.mp4 0112_hemisphere.json 7 000 176
0113_cone Cone 0113_cone.mp4 0113_cone.json 6 160 155
0114_cylinder Cylinder 0114_cylinder.mp4 0114_cylinder.json 8 320 209
0115_prismTri Triangular_Prism 0115_prismTri.mp4 0115_prismTri.json 7 160 180
0116_cone Cone 0116_cone.mp4 0116_cone.json 5 560 140
0117_cuboid Rectangular_Prism 0117_cuboid.mp4 0117_cuboid.json 7 000 176
0118_prismTri Triangular_Prism 0118_prismTri.mp4 0118_prismTri.json 6 000 151
0119_prismHex Hexagonal_Prism 0119_prismHex.mp4 0119_prismHex.json 6 200 156
0120_pyramidQuad Square_Pyramid 0120_pyramidQuad.mp4 0120_pyramidQuad.json 6 560 165
0121_cuboid Rectangular_Prism 0121_cuboid.mp4 0121_cuboid.json 5 840 147
0122_cuboid Rectangular_Prism 0122_cuboid.mp4 0122_cuboid.json 6 960 175
0123_cylinder Cylinder 0123_cylinder.mp4 0123_cylinder.json 6 600 166
0124_prismHex Hexagonal_Prism 0124_prismHex.mp4 0124_prismHex.json 7 240 182
0125_prismHex Hexagonal_Prism 0125_prismHex.mp4 0125_prismHex.json 5 760 145
0126_prismHex Hexagonal_Prism 0126_prismHex.mp4 0126_prismHex.json 7 440 187
0127_hemisphere Hemisphere 0127_hemisphere.mp4 0127_hemisphere.json 8 200 206
0128_pyramidTri Triangular_Pyramid 0128_pyramidTri.mp4 0128_pyramidTri.json 6 920 174
0129_cone Cone 0129_cone.mp4 0129_cone.json 6 040 152
0130_pyramidQuad Bad 0130_pyramidQuad.mp4 0130_pyramidQuad.json 7 280 183
0131_hemisphere Hemisphere 0131_hemisphere.mp4 0131_hemisphere.json 7 320 184
0132_cuboid Rectangular_Prism 0132_cuboid.mp4 0132_cuboid.json 7 480 188
0133_hemisphere Hemisphere 0133_hemisphere.mp4 0133_hemisphere.json 5 520 139
0134_hemisphere Hemisphere 0134_hemisphere.mp4 0134_hemisphere.json 5 120 129
0135_pyramidQuad Square_Pyramid 0135_pyramidQuad.mp4 0135_pyramidQuad.json 5 040 127
0136_prismTri Triangular_Prism 0136_prismTri.mp4 0136_prismTri.json 5 880 148
0137_prismTri Triangular_Prism 0137_prismTri.mp4 0137_prismTri.json 5 120 129
0138_cuboid Rectangular_Prism 0138_cuboid.mp4 0138_cuboid.json 5 320 134
0139_cone Cone 0139_cone.mp4 0139_cone.json 6 520 164
0140_prismHex Hexagonal_Prism 0140_prismHex.mp4 0140_prismHex.json 5 560 140
0141_pyramidTri Triangular_Pyramid 0141_pyramidTri.mp4 0141_pyramidTri.json 6 000 151
0142_cuboid Rectangular_Prism 0142_cuboid.mp4 0142_cuboid.json 6 000 151
0143_cylinder Cylinder 0143_cylinder.mp4 0143_cylinder.json 7 720 194
0144_cuboid Rectangular_Prism 0144_cuboid.mp4 0144_cuboid.json 5 600 141
0145_cylinder Cylinder 0145_cylinder.mp4 0145_cylinder.json 6 720 169
0146_hemisphere Hemisphere 0146_hemisphere.mp4 0146_hemisphere.json 7 320 184
0147_prismHex Hexagonal_Prism 0147_prismHex.mp4 0147_prismHex.json 7 400 186
0148_pyramidQuad Square_Pyramid 0148_pyramidQuad.mp4 0148_pyramidQuad.json 6 680 168
0149_pyramidQuad Square_Pyramid 0149_pyramidQuad.mp4 0149_pyramidQuad.json 11 480 288
0150_prismTri Triangular_Prism 0150_prismTri.mp4 0150_prismTri.json 5 640 142
0151_cylinder Cylinder 0151_cylinder.mp4 0151_cylinder.json 6 320 159
0152_pyramidQuad Square_Pyramid 0152_pyramidQuad.mp4 0152_pyramidQuad.json 5 280 133
0153_pyramidTri Triangular_Pyramid 0153_pyramidTri.mp4 0153_pyramidTri.json 7 360 185
0154_hemisphere Hemisphere 0154_hemisphere.mp4 0154_hemisphere.json 6 600 166
0155_prismTri Triangular_Prism 0155_prismTri.mp4 0155_prismTri.json 5 840 147
0156_cuboid Rectangular_Prism 0156_cuboid.mp4 0156_cuboid.json 6 560 165
0157_pyramidTri Triangular_Pyramid 0157_pyramidTri.mp4 0157_pyramidTri.json 6 000 151
0158_pyramidTri Bad 0158_pyramidTri.mp4 0158_pyramidTri.json 5 400 136
0159_cone Cone 0159_cone.mp4 0159_cone.json 5 640 142
Nom Categorie Fichier Video Fichier Eye-Tracking Durée (ms) #Trames
Total 1 039 640 26 149
Moyenne 6 580 166
Ecart Type 971 24
Minimum 3 600 91
Maximum 14 880 373