TITRE DU PROJET : Robot web pour la linguistique Responsable(s) : Bureau : Kim Gerdes, Renaud Marlet Tél : 05.57.12.10.73, 05.40.00.38.72 E-mail : kim.gerdesATu-bordeaux3.fr, marlet@labri.fr Mots clés : robots web, linguistique informatique Description du projet : Le projet concerne l'amélioration d'un robot web (spider, crawler) pour l'utilisation en linguistique : il devrait permettre aux non informaticiens l'utilisation du web comme corpus (grande masse de textes, organisée suivant des critères linguistiques afin d'en extraire des informations sur la langue). Le travail comporte deux parties : 1. Récupération automatique de très grands corpus Le projet s'appuiera sur une formalisation de critères de sélection de pages intéressantes : critères de langues, de style, de type de texte (Comment éviter que le robot ne quitte les pages francophones, les pages d'un certain sujet,' '). Le travail consistera à développer une interface permettant au linguiste d'indiquer facilement ces critères (par exemple pour fournir des listes de mots clés, des expressions régulières, ou encore mieux, des exemples de pages d'intérêt, dont le robot apprend les critères). 2. Recherche linguistique dans le Web L'autre volet de ce travail est la réalisation d'un robot qui permette la recherche dans le Web sans récupération préalable de corpus en local. C'est en particulier utile lorsqu'on étudie le comportement particulier d'un mot. En linguistique, on peut par exemple se poser la question : - Pour un certain verbe, quels sont les objets directs que prend ce verbe ' - Pour un certain nom, quels sont les adjectifs épithètes qui apparaissent avec ce nom ' Le travail comportera les aspects suivants : - Recherche par mot forme (formes conjuguées, déclinées) du mot en question (et pour obtenir ces formes, intégrer les listes des mots formes existantes), - Parsing des résultats du moteur de recherche, soit directement, soit par récupération de la source originale référencée, - Intégration de parseur syntaxiques internes et externes au robot, - Quantification des résultats obtenus. Il existe une première implémentation du robot en Java avec très peu de fonctionnalités ; son portage en Python est en cours (avec le but d'intégrer plus facilement des sous-modules développé en Python ; on utilisera Jython pour l'interface web). Références et pointeurs : Benoît Habert, Adeline Nazarenko, André Salem, Les Linguistiques de corpus, Paris, Armand Colin, coll. U, 1997, 240 p. http://socscibot.wlv.ac.uk/help/linguistics.htm M.H. Haddad, M. Géry, D. Vaufreydaz, Le Web : une source d'information pour l'intégration de multi-termes dans un processus de Recherche d'Information, Journées Francophones d'Accès Intelligent aux Documents Multimédias sur l'Internet (MediaNet 2002), Sousse (Tunisia), pp. 257-268, June 2002. http://www-prima.inrialpes.fr/Vaufreydaz/Telechargement/Haddad02a.pdf Matériels et logiciels nécessaires :