User Tools

Site Tools


parant_mora:sarah_parant_and_raphael_mora

Visual Analytics Course

Bordeaux roadmap 2013- 2014 / Sarah Parant & Raphaël Mora's corner

Social Graph analysis: Marvel universe social graph

Voici ici les sources du projet. Nous ne pouvions le mettre sur le site car la taille était trop élevée.

https://bfs.drimm.u-bordeaux1.fr//files/64658486296811ba9009061aeca8f961/Marvel.tar.gz

Le travail sur les comics et non sur les personnages :

https://bfs.drimm.u-bordeaux1.fr//files/6bae623d602436c7c88ad63ad2e0c7c4/Marvel_communities.tar.gz

Le travail que nous n'avons pas réussi à terminer :

https://bfs.drimm.u-bordeaux1.fr//files/c5ba46e6a92b5b7eb49001b5159753fe/Failure.tar.gz

  1. Base de données corrompue :

Plusieurs raisons peuvent fausser les résultats de notre étude. Pour avoir un résultat fidèle, il faudrait définir plus précisément ce que contient notre base de données. Pour vérifier que le réseau social de l’Univers Marvel ressemble à un réseau social réel, il faudrait considérer que les relations dans notre base de données ressemblent aux relations que l’on trouve dans le monde réel, c’est à dire, un contact avec la personne.

Or, nous doutons que la base de donnée à intégré des relations qui ne sont pas liées à un contact, mais par d’autres évènements :

  • Présence : Dans notre article, il est écrit que deux personnages sont considérés comme ayant eu des contacts s’ils sont dans un même comic. Or, dans certains comics, les personnages ne se rencontrent pas forcément tous.

Par exemple, dans l’Univers Ultimate, Wolverine discute avec Daredevil et SpiderMan. Dans ce même comic, les X-Mens sont présents, mais n’ont pas discuté, ni vu Daredevil et Spider-Man. Dans le monde réel, il n’y a donc pas de relation entre les X-Mens et les deux entités (pour information, les comics Ultimates sont trop récents pour être dans la base de données, mais nous servent de référence, car c’est l’Univers de Marvel le plus connu aujourd’hui en France).

  • Connaissance : Toujours sur le principe que deux êtres se connaissent s’il y a eu un contact, il y a une question de connaissance de l’existence de l’autre. Par exemple, les superhéros et supervilains sont souvent connus sur la Terre entière. Les personnages ont donc des références ou des images (télévision, journaux, visions …) d’autres personnages qui apparaissent dans le comic sans pour autant les rencontrer.
  • Objets spéciaux et pouvoirs spéciaux : L’Univers Marvel étant un univers fantastique dans lequel interagissent des êtres extraordinaires, certains objets et pouvoirs spéciaux peuvent rendre la définition de contact difficile.

Par exemple pour un objet spécial, dans le monde des X-Mens, dans l’école de jeunes surdoués du Professeur Xavier, il existe une salle appelée “La salle du Danger” dans laquelle les élèves s’entraînent sur des apparitions fictives. Au cours d’un comic, les X-Mens doivent se battre contre les supervilains de Spider-Man. Rien ne permet de savoir si le contact avec ces super vilains (qui pourtant n’étaient que des créations temporaires) peut compter comme une connaissance avec les X-Mens.

Un autre exemple, dans le monde des 4 Fantastiques, M. Fantastique discute avec les entités des mondes parallèles à son monde grâce à une machine qu’il a construite. Grâce à cette machine, il a pu discuter avec M. Fantastique et son fils dans le monde avant les Ultimates (les 4 Fantastiques ont été réinventés dans la version Ultimate). Nous savons que la base de données ne prend pas en compte le contact de M. Fantastique avec lui même, mais ne dit pas si le contact avec le fils de M.Fantastique de la première version compte.

Un autre exemple avec des pouvoirs spéciaux, Invisible Woman des 4 Fantastiques possède le pouvoir de dévier la lumière sur elle même ce qui donne l'impression d'être invisible. Dans un comics, elle passe à côté de personnages qui ne peuvent percevoir sa présence. Peut-on considérer qu'il y a eu contact si l'un des personnages n'est pas au courant.

  1. Diagramme de distribution de nombre de connaissances :

Comme expliqué dans la conférence de Guy Melançon, le monde est petit «Small World». Le nombre de personnes qui connaissent beaucoup de monde est faible.

Un diagramme qui montre la distribution du nombre de connaissances ressemble à ceci dans le monde réel : http://www.presse-citron.net/letude-a-grande-echelle-de-wolframalpha-sur-facebook

Ce diagramme est la distribution du nombre d’amis sur Facebook.

Nous avons donc fait un diagramme sur la distribution du nombre de connaissances dans l’Univers Marvel : Nous pouvons remarquer que ce diagramme correspond à un diagramme de réseau social réel.

  1. Déroulement du projet :

La première étape de notre projet a été le nettoyage de la base de données. Nous avons remarqué l’existence de doublon dans celle-ci. La base de données a été construite en prenant les comics Marvel un par un. Les personnages des comics ont été rentrés dans la base de données lorsque les personnages sont présents dans le comic. Lorsqu’une relation entre deux personnages est rentrée dans notre base de données, il n’y a pas eu de vérification sur l’éventuelle présence de celle-ci dans la base de données. Album 46 : “Captain America”,“Thor” “Wolverine”, “Storm” …. Album … Album 6084 : “Captain America”,”Thor” (nous avons donc un doublon) De plus, le logiciel Tulip fait une différence entre «Perso_A»,«Perso_B» et «Perso_B»,«Perso_A» car les graphes Tulip sont orientés. Nous avons donc créé un parseur en C qui crée l'inverse de chaque ligne. Pour finir le nettoyage de notre base de données, nous avons supprimé tous les doublons avec des lignes de commandes (voir Annexes).

À partir de ce stade de notre projet, nous avions la possibilité d'entrer notre base de données dans notre logiciel Tulip.

Au cours de notre étude de l'existant sur l'algorithme ForceAtlas2, nous avons trouvé l'algorithme implémenté sous Python sur un compte github. Celui-ci utilise la bibliothèque NumPy qui est une bibliothèque pour les calculs scientifiques en Python. Nous nous sommes donc inspirés de ce code pour notre implémentation. https://github.com/tpoisot/nxfa2

Voici les résultats que nous trouvons avec l’algorithme de ForceAtlas2 :

Nous pouvons remarquer qu’il n’y a pas de groupe défini. Il n’y a donc pas eu de contraintes sur les connaissances des personnages. N’importe qui aurait pu rencontrer n’importe qui. Nous avons mis des couleurs pour que l'on distingue les personnes qui connaissent le plus de monde. Les personnages qui connaissent plus de 1000 autres personnages ont été mis en jaune et leurs points ont été agrandis.

Voici un aperçu des connaissances de Captain America qui est le personnage avec le plus de connaissance.

Voici d'autres exemples de personnages à tous les niveaux de connaissance :

Storm

Trump

Steel Spider et Master of Vengeance

Ces deux personnages n’ont pas de contact avec le grand groupe or si on se renseigne, ces deux personnages sont dans les comics de Spider-Man et ont rencontré tous les deux Spider-Man. L’une des raisons pour laquelle ils ne sont pas reliés à Spider-Man est qu’ils ont rencontré Spider-Man dans un comic sorti en 1994. Or cette année, la base de données ne contient pas de donnée de cette année. Mais ils font partie de notre base de données. Nous pouvons donc penser que nos deux personnages se sont rencontrés dans un comics de Spider-Man sans rencontrer ce dernier. Nous pouvons donc penser que la base de données compte une relation comme un contact.

Dans la conférence de Guy Melançon, l'exemple de réseau social à été pris d'une liste de personne appartenant à différents partis politiques. Nous nous sommes demandé s’il n'y avait pas possibilité de faire la même chose, mais avec l'appartenance à un monde Marvel. Nous avons donc vérifié les échanges entre les différents univers parallèles de l’Univers Marvel. Pour cela, nous avons décidé de récupérer la base de données qui contient la liste des personnages par comics : “Personnage”,”Comic Numéro” En voulant utiliser la base de donnée comme tel, nous n'avons pas réussi à avoir un résultat concluant car nos méta-sommets n'étaient pas reliés. Nous avons donc parsé notre base de données pour avoir la liste des comics qui ont des personnages en commun. Cependant, pour l’utiliser, il nous a fallu enlever les numéros des comics puis enlever tous les doublons avec la même méthode que la base de données précédente.

Voici le résultat obtenu avec notre algorithme, l'AutoSizing et l'algorithme FM intégré dans Tulip.

Ce qui est intéressant dans ce graphe, c’est que nous pouvons légèrement apercevoir deux groupes. La séparation des deux groupes donne un effet de demi-lune à notre graphe. Nous pouvons dire qu’il y a une tendance à ne pas mélanger deux types d’univers.

  1. Conclusion

Nos résultats ressemblent aux résultats obtenus par d’autres avec le logiciel Gephi. La majeure partie de notre travail, nous avons cherché à savoir si la base de données permettait réellement à répondre à la question qui est « Est-ce que le réseau social de l’Univers Marvel correspond à un réseau social réel ? ».

Personnellement, nous pensons que nous manquons d’informations pour répondre à la question. La base de données manque beaucoup de clarté, des informations ont disparu entre certaines périodes, notre base de données semble différente par rapport à celle utilisée dans l’article (7287 personnages dans notre base de données contre 6 486 dans la base de données de l’article) et le temps pendant lequel les données ont été récupérées.

  1. Annexe

Ligne de commande de nettoyage des bases de données :

cat fichier | sort | uniq > new_fichier (Trie la base de données)
sort -u fichier > new_fichier (Enlève les doublons)

Architecture des répertoires :

bd_hero_cleaner : contient la base de données utilisé pour l'algorithme ForceAtlas2 sur le network des héros.

social_network_forceatlas2 : contient le projet Tulip avec l'algorithme ForceAtlas2 et le graphe obtenu.

bd_comic_communities_univers : contient la base de données utilisée pour la détection des communautés.

failure_algo et failure_data : contiennent respectivement le projet Tulip n'aboutissant pas aux résultats escomptés (voir précédemment dans le rapport) et la base de données correspondante.

/net/html/perso/melancon/Visual_Analytics_Course/data/pages/parant_mora/sarah_parant_and_raphael_mora.txt · Last modified: 2014/01/17 09:36 by niioubie