C'est le message après nettoyage. Le cluster 15 contient effectivement encore des bas de page de type "disclamer". Les autres me semblent ok. Le clustering permet en itérant de trouver justement les motifs répétitifs qui ne sont pas du contenu car ils produisent des clusters. Le filtrage est fait par un script Perl qui reconnait des motifs de démarrage de paragraphes à enlever. Ce n'est pas parfait mais ca marche raisonnablement bien et l'amélioration des résultats est notable. J'attache une copie d'écran qui illustre les zones enlevées. Pascal -----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: Monday, March 03, 2008 9:48 AM To: Pascal Coupet Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Nouveau jeu de données Merci Pascal pour les données. Effectivement, ce type de présentation rend les choses beaucoup plus faciles à interpréter. Qu'affiches tu dans le résultat de la clusterisation (HTML) ? Le message nettoyé, ou le mesage original ? Il semble que certains clusters soient principalement induits par ces mentions légales. Qu'en penses-tu ? Amicalement, --Thierry -----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Pascal Coupet Envoyé : lundi 3 mars 2008 10:27 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Nouveau jeu de données Bonjour à tous, J'ai mis le fichier XML avec le vecteur sémantique pour les données Septia-data-5 sur le ftp (septia_data_5_20080229-tmx-filtered-IDE.zip). Le format est le même mais contient la langue en plus. ftp: ftp://SEPTIA:dqMrqqMz@ftp.temis.com A noter que nous avons nettement amélioré le nettoyage des données. Les entêtes des mails sont enlevés (de: objet: ...) ainsi que les bas de pages et les notes précédentes attachées en dessous. Quelques explications supplémentaires sur les données: On ne garde que la première note de chaque fil de discussion (identifiée comme la première physiquement dans le fichier avec un nouvel id de discussion). On ne garde également que la question car l'objectif est d'aider à traiter la première interaction. On avait discuté cela lors d'une conférence téléphonique mais je préfère le redire. Si quelqu'un a besoin des données complètes, je peux les générer sans problème bien sur. J'ai également mis un rapport html de clustering de documents qui permet dá voir une vue exploratoire des données. Il faut aller dans le répertoire html et cliquer sur index.html. Thierry, ca m'intéresse d'avoir ton avis si tu as le temps de jeter un œil. Massih, les termes sont typés dans le vecteur que nous fournissons. Ca peut être intéressant pour choisir les termes à utiliser ou non. Par exemple les noms propres (PROPER-NAME) ne sont pas forcément intéressants car plus liés à un cas précis qu'à un type de problème. Bonne journée à tous, Pascal -----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Denis Lemarchand Sent: Friday, February 29, 2008 9:05 AM To: septia@lipn.univ-paris13.fr Subject: [Septia] Nouveau jeu de données Bonjour, Voici un nouveau jeu de données + gros (9300 dossiers). En outre j'ai rajouté un tag pour la langue. Bonne réception. Denis. _______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia