User Tools

Site Tools


andoye:abdallah_ndoye

Visual Analytics Course

Bordeaux roadmap 2012-2013 / Abdallah Ndoye's corner

  • This is where you'll keep private access to your course related stuff.
  • This is your own private area where homework can be uploaded/edited.

Data Mining Project (Amazon product co-purchasing network, March 02 2003)

Pour réaliser ce projet je me suis référé à de nombreux article qui traiter à peu prés le même sujet, dont un qui à extrait les données.

Presentation

presentationvisus.pdf

Avant tout je tenais à préciser que je me suis contenté des données que j'avais, c'est à dire le fichier txt, parceque je n'avais pas accès et je n'ai toujours pas accés à ces données ou alors je ne sais pas comment les récupérer. En essayant de les télécharger on m'indique que je n'ai pas la permission de le faire… http://snap.stanford.edu/data/amazon-meta.html. La majorité des choses que j'explique est tirée des articles que j'ai lu et étudié, j'explique leur démarche etc….

Introduction

Le développement des moyens informatiques et de calcul permet le stockage (bases de données), le traitement et l’analyse d’ensembles de données très volumineux. Plus récemment, le perfectionnement des logiciels et de leurs interfaces offrent aux utilisateurs, statisticiens ou non, des possibilités de mise en œuvre très simples de ces méthodes. Cette évolution, ainsi que la popularisation de nouvelles techniques algorithmiques (réseaux de neurones, support vector machine…) et outils graphiques, conduit au développement et à la commercialisation de logiciels (Enterprise miner, Clementine, Insightfull miner…) intégrant un sous-ensemble de méthodes statistiques et algorithmiques utilisées sous la terminologie de Data Mining généralement traduit par fouille de données. Cette approche, dont la présentation est principalement issue du marketing spécialisé dans la gestion de la relation client (GRC) (client relation management ou CRM), trouve également des développements et applications industrielles en contrôle de qualité ou même dans certaines disciplines scientifiques dès lors que les ingénieurs et chercheurs sont confrontés à un volume de données important. L’accroche publicitaire souvent citée par les éditeurs de logiciels est : Comment trouver un diamant dans un tas de charbon sans se salir les mains.

Philippe Besse Professeur à l'INSA

Problématique & Motivations

Comme nous l'avons vu dans l'introduction la Data mining s'applique à plusieurs domaines, mais un des secteurs d'activités où cela semble assez utile et intéressant est le GRC (analyse de la consommation des clients). En effet le croisement de plusieurs données pourrait permettre de connaître les habitudes des clients, leurs préférences et beaucoup d'autres choses. L'intérêt est plutôt évident pour les sites de e-commerce et pour les vendeurs en général. Selon le site Kdnuggets pour 2009 et 2010 le secteur de GRC a été le secteur où le data mining a été le plus utilisé.http://www.kdnuggets.com/polls/2010/analytics-data-mining-industries-applications.html. De ce fait les sites de vente en ligne peuvent établir des profiles acheteurs, et peuvent donc recommander des produits aux acheteurs par rapport à leur profile ou proposer de la publicité spécifique aux acheteurs. Ces techniques sont appelées technique de Marketing Viral ou Marketing par recommantion. Nous allons nous intéresser :

  • Aux habitudes des consommateurs (par ex: peut on dégager des profites d'acheteur à partir des données?)
  • A leurs préférences par rapport aux produits qu'ils achètent (par ex: Est-ce que lorsqu'un client achète un film d'action il achète aussi un jeu video? etc….).

Pour cela nous allons utilisé des données issue de sites de e-commerce, et par rapport à différentes corrélations et aux croisements entre les données nous essaierons de trouver nos réponses.

Présentation des données

Les données sur lesquelles nous allons travailler sont des données d'Amazon issue de leur site web. Amazon qui un des leader en e-commerce dans le monde. C'est le site de Snap qui s'est procurré ces données et nous fourni aussi un article qui parle d'une technique de marketing viral. Les données sont basées sur les clients ayant achetés des articles sur le site Amazon. Si un produit i est fréquemment co-acheté avec le produit j, le graphe contient une arête orientée de i à j. Les données ont été recueillies en Mars 2003.


En partant avec ces données nous pourrons avoir une idée clair sur les habitudes des clients, quels sont les produits qu'ils ont l'habitude d'acheter ensemble etc… Les données nous sont fournies sous la forme d'un fichier .txt qui stock les arêtes qu'il y a dans le graphes, c'est à dire quels sont les sommets reliés entre eux.

  • Nous avons un ensemble de 262111 sommets ainsi que 1234877 arêtes.
  • Il s'agit d'un graphe orienté.
  • Nombre de noeuds dans la plus grande composante faiblement connectés : 262111.
  • Nombre d'arêtes dans la plus grande composante faiblement connectés : 1234877.
  • Nombre de noeuds dans la plus grande composante fortement connecté : 241761 (0.922).
  • Nombre d'arêtes dans la plus grande composante fortement connecté : 1131217 (0.916).
  • Coefficient de clustering moyen : 0.4240
  • Nombre de triplets de nœuds connectés (en considérant le graphe comme non orienté) : 717719.
  • Nombre de triplets de noeuds connectés / nombre d'arête (non orienté) de longueur 2 : 0.2361.
  • Diamètre (le plus long des plus court chemin) : 29
  • Diamètre de 90 percentile efficace : 11.

Comme le montre les caractéristiques des données, le réseau est très dense, avec un coefficient regroupement (clustering) qui est de 0,42. La fraction de nœuds appartenant à la plus grande composante fortement connexe est très haute 0,922. Cela implique que les produits échantillonnés sont très étroitement liés les uns par rapport aux autres.

Détail

Les acheteurs en ligne, comme partout ailleurs, sont généralement classés par profils qui sont établi à partir de leur historique d'achat. La segmentation du marché est un terme marketing se référant à l'agrégation des acheteurs potentiels en groupes (segments) qui ont des besoins communs et répondent de manière similaire à une action de marketing. Segmentation du marché permet aux entreprises de cibler les différentes catégories de consommateurs qui perçoivent la valeur intégrale de certains produits, marchandises et services différemment les uns par rapport aux autres. Généralement trois critères peuvent être utilisés pour classer les acheteurs:

  • 1) Homogénéité (besoins communs au sein de segment)
  • 2) Distinction (unique à partir d'autres groupes)
  • 3) Réaction (réponse similaire à celle du marché)

Dans cette section, nous définirons une fonction purchasability F(Pi) de produit pour un motif de 3-noeuds qui indiquera la capacité probable du produit étant acheté dans le cadre des motifs 3-noeuds utilisant les degré-entrant V(i) au sommet i et la valeur absolue E(de motif), qui représente le total des arêtes dans le motif.

F(Pi) = Vi (entrant) / |E|

La fonction purchasability produit n'est pas définie pour un sommet dans le motif avec un degré entrant égale à zéro. Pour tous les autres sommets, cette fonction retournera les arêtes entrante dans le produit par rapport au nombre total d'arêtes. Pour évaluer chaque motif, nous allons ensuite déclarer une fonction Rang Motif qui indique les nœuds qui ont un résultat positif à l'appel de la fonction F(Pi). Contrairement à ce que le nom de cette fonction indique, il n'identifie pas l'importance ou la signification d'un motif. Cette fonction se penche plutôt sur les noeuds (produits) dont le résultat de la fonction F(Pi) peut être définie et ainsi fournir une action plus large d'ensemble de produits.

F(MR) = Number of Nodes with Positif F(Pi) / Total Nodes in motif

Nous allons maintenant examiner quelques-uns des motifs les plus fréquents retrouvé dans les produit co-acheter dans le réseau suivant article

Interpretation

Les statistiques des motifs 3-nœud présents dans le réseau étudié dans cet article ont été résumées dans le tableau ci-dessus, Comme on le voit, la probabilité pour certains motifs de se répéter est beaucoup plus élevée (d'un ordre de grandeur) que d'autres. Ceci signifie qu'il y a une similarité entre certaines structures présentent dans le réseau. La figure 1 montre un motif 3-noeud avec un nombre de fréquences de répétition de 131613 et MotifID égale à 1.

Le motifID 1 représenté sur la figure 1 est une représentation de le cas où quand un client a acheté un produit, il ou elle a acheté une ou l'autre 2 autres produits ou les 2 à la fois. Le F(Pi) de noeuds dans ce motif est de 0,5 pour les noeuds à la base et non définis pour le nœud au dessus. Nous supposons que l'instant auquel le produit représenté par la partie haute est l'instant présent. Le client peut ensuite acheter à la fois les 2 autres produits, un des 2 produits, ou aucun d'entre eux.

MotifID 3 représenté sur la figure 2 est un motif intéressant avec une fréquence relativement élevée d'apparition (104071). Il existe une relation réciproque entre 2 des nœuds. Il s'agit d'une composante fortement connectée indiquant la proche similarité entre les nœuds. Le F(Pi) des nœuds ce motif sont de 0,33. La fonction Rang Motif de cette motif est jugée 1.

Le motifID 4 représenté sur la figure 3 présente la plus élevée des fréquences d'apparition parmi tous les motifs 3-noeud avec 217566 occurrences rencontrées. Ce motif représente les consommateurs qui ont acheté des produits sans grand rapport (les 2 nœuds en haut) et ont également acheté le produit représenté par le nœud à la base. La fréquence élevée de ce motif souligne également le fait qu'il existe un facteur de convergence dans le réseau impliquant qu'un grand nombre de clients finissent par acheter une petit sous-ensemble de produits. L'identification de ce petit sous-ensemble de produits peut être utilisé par la boutique en ligne pour améliorer services et en réduisant les coûts de ces sous-ensembles de produits. Le Rang Motif de ce motif est de 0,33 en raison de la présence d'un seul nœud avec un f (Pi) fonction positive.

MotifID 10 représentée sur la figure 4 contient une composante fortement connexe montrant une corrélation étroite entre les produits. La fonction F(Pi) du nœud à la tête n'est pas défini. Le noeud du centre a une F(Pi) de 0,66 et la nœud en bas en a une de 0,33. Les clients achetant le produit représenté par le nœud au sommet peuvent également acheter le produit au milieu. L'argument peut être étendu pour le produit en bas aussi. Mais avec une augmentation de l'arête (distance) séparant les deux produits la probabilité que le client aille acheter le produit tombe de façon exponentielle.

Interprétation

Étant donné que les profils des acheteurs sont construits avec des achats progressifs qui ne peuvent pas appartenir à la même communauté de produits, nous ne pouvons pas extrapoler les résultats obtenus à partir de ces entités communautaires centrées pour construire des profils de clients. Nous pouvons juste les utiliser est pour se une idée sur la tendance des produits achetés. Nous pouvons surveiller les statistiques de motifs au fil du temps pour recueillir des informations utiles sur les tendances. Par exemple, si la fréquence d'apparition des motifs de convergence augmente, on en déduit que un plus grand nombre de clients cherchez à acheter moins cher un plus petit sous-ensemble de produits. nous pouvons faire une bonne estimation de ce que ces produits sont et si les détaillants en ligne ont besoin de faire des changements opérationnel pour correspondre à la demande.

L'article défini certaines fonctions pour l'analyse de la présence et de la nature des motifs présents dans un réseau. Motifs, par eux-mêmes ne sont pas très utiles pour l'extraction de caractéristiques, comme on l'observe, et nous devons combiner cette analyse avec d'autres méthodes telles que la détection communauté. Néanmoins, nous avons montré que les motifs peuvent être utilisés pour visualiser les tendances, caractéristiques intéressantes à grande échelle et dans l'ensemble, être utile pour prédire le comportement des utilisateurs dans un réseau comme un produit co-acheté du réseau. En référence à un réseau de produit co-acheté, nous avons pu montrer que les traits suivants peuvent être extraits en utilisant des motifs

  • Prédiction de la demande de produits
  • Tendances d'achat des catégories de produits
  • Les relations entre les différents produits

L'extraction de ces tendances est essentiel du point de vue des détaillants en ligne dans l'espoir de tirer profit de l'augmentation du nombre de clients qui choisissent de magasiner en ligne. La tendance frappante que cet article a été constaté qu'il ya une forte présence de motifs convergents, ce qui indique que la plupart des clients ont tendance à acheter un peu de certains produits. Ce n'est pas en contradiction avec la «longue traîne» phénomène. Au contraire, il peut être démontré que la présence de la longue queue est un phénomène à grande échelle et ne se rendre visible à un échantillonnage micro du réseau.

/net/html/perso/melancon/Visual_Analytics_Course/data/pages/andoye/abdallah_ndoye.txt · Last modified: 2013/01/10 16:53 by andoye