User Tools

Site Tools


anne-laure_mesure:solution_homework2

Rapport Anne-laure Mesure - Nicolas Spagnulo

Présentation des données

Pour notre projet, nous avons utilisé un jeu de données contenant des reposts sur le site reddit.com. Ce site permet à ces utilisateurs, de poster des liens vers des, sites, photos ou vidéos. Ces posts peuvent être commentés. Les utilisateurs peuvent également voter pour ou contre les posts afin d’en modifier sa visibilité sur le site. Notre jeu de donnée contient uniquement des reposts, c’est à dire des posts d’images ayant déjà été posté par un autre utilisateur.

Notre jeu de données se présente sous le format d’un fichier .csv avec les propriétés suivantes:

  • #image_id (identifiant numérique de l’image)
  • unixtime
  • rawtime
  • title (Titre)
  • total_votes (Nombre de votes)
  • reddit_id (Identifiant alpha-numérique)
  • number_of_upvotes (Nombre de votes positifs)
  • subreddit (Catégorie)
  • number_of_downvotes (Nombre de votes négatifs)
  • localtime
  • score (Votes positifs - votes négatifs)
  • number_of_comments (Nombre de commentaires)
  • username (Nom de l’utilisateur à l’origine du post)

Nettoyage des données

Le jeu de données se présentait dans un fichier csv. Dans un premier temps, il a fallu gérer les options de séparateurs à l’ouverture du fichiers, les séparateurs par défauts provoquaient une casse de l’attribut title de nos données, entraînant un décalage dans les colonnes. Après avoir commencé à manipuler les données avec Tulip, nous avons décidés de réduire le jeu de données en raison d'un temps d’exécution trop long de nos algorithmes. Nous nous sommes donc restreint au posts de 2008 à 2011, retirant ainsi les posts de 2012 et 2013. On est ainsi passé de 132 000 nœuds à 19 000.

Visualisation

Une question qui s’est posée est celle du comportement des utilisateurs sur le site. Pour celà nous avons représenté sous forme de scatterplot le nombre de votes en fonction du nombre de commentaire. Nous nous attendions à retrouver les posts principalement sur la diagonale, les réactions se faisant autant sur les commentaires que par les votes. Le résultat que l’on peut observé est que les utilisateurs ont plus tendances à voter qu’à commenter.

Une autre question que nous nous étions posé sur le comportement des utilisateurs, concernait ceux à l’origine des reposts. Est-ce que l’on est face à une masse d’utilisateurs effectuant des reposts occasionnellement, ou face à certains utilisateurs spécialisés dans cette activités. Pour visualiser cela, nous avons dans un premier temps créé un nœud pour chaque utilisateur, en lui rattachant le nombre de post effectué, puis nous avons affiché ces nœuds en fonction du nombre de posts au travers d’un histogramme. Nous n’avons pas pris en compte les utilisateurs anonymes pour cette question, qui auraient été considérés comme un utilisateur unique.

On observe une tendance générale à ce que les utilisateurs à ne reposter une image qu’une seule fois. On observe cependant le cas d’un utilisateur ayant effectué 835 reposts.

Fichier source .tlpx pour ces deux premiers points: sources

Il est intéressant de savoir dans quelle catégorie une image en particulier était susceptible d'apparaître. Pour pouvoir afficher ces informations il est nécessaire de visualiser les données sous la forme d’un graphe. On a créé un graphe avec 2 types de noeuds, ceux correspondants aux catégories et ceux correspondants aux images, une arrête entre ses deux types de noeuds permet de mettre en évidence un post de cette image dans cette catégorie, de plus les scores des posts sont symbolisés par la couleur des arêtes.

Dans ce premier graphe on peut voir que les images semblent apparaître dans plusieurs catégories en suivant une certaine hiérarchie, de plus la catégorie ne semble pas avoir d’influence sur le score d’une image sur un post.

Afin de mieux mettre en évidence les liens entre les catégories, un second graphe semble judicieux, celui-ci ne contenant que les noeuds catégories et une arête entre deux noeuds indique qu’une même image apparaît dans les deux catégories, de plus la taille du noeud correspond au ratio d’images repostées.

Avec une représentation Force Directed, on peut voir que les catégories forment des clusters, ainsi les catégories générales telles que “pic” ou “funny” concentrent le plus de reposts et sont connectés aux autres catégories moins générales.

Source Tulip pour les deux derniers graphes:Source

/net/html/perso/melancon/Visual_Analytics_Course/data/pages/anne-laure_mesure/solution_homework2.txt · Last modified: 2015/01/22 17:06 by mesure