C'est le message après nettoyage.
Le cluster 15 contient effectivement encore des bas de page de type "disclamer". Les autres me semblent ok.
Le clustering permet en itérant de trouver justement les motifs répétitifs qui ne sont pas du contenu car ils produisent des clusters.
Le filtrage est fait par un script Perl qui reconnait des motifs de démarrage de paragraphes à enlever. Ce n'est pas parfait mais ca marche raisonnablement bien et l'amélioration des résultats est notable.
J'attache une copie d'écran qui illustre les zones enlevées.
Pascal
-----Original Message-----
From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com]
Sent: Monday, March 03, 2008 9:48 AM
To: Pascal Coupet
Cc: septia(a)lipn.univ-paris13.fr
Subject: RE: [Septia] Nouveau jeu de données
Merci Pascal pour les données.
Effectivement, ce type de présentation rend les choses beaucoup plus faciles
à interpréter.
Qu'affiches tu dans le résultat de la clusterisation (HTML) ? Le message
nettoyé, ou le mesage original ? Il semble que certains clusters soient
principalement induits par ces mentions légales. Qu'en penses-tu ?
Amicalement,
--Thierry
-----Message d'origine-----
De : septia-bounces(a)lipn.univ-paris13.fr
[mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Pascal Coupet
Envoyé : lundi 3 mars 2008 10:27
À : septia(a)lipn.univ-paris13.fr
Objet : Re: [Septia] Nouveau jeu de données
Bonjour à tous,
J'ai mis le fichier XML avec le vecteur sémantique pour les données
Septia-data-5 sur le ftp (septia_data_5_20080229-tmx-filtered-IDE.zip). Le
format est le même mais contient la langue en plus.
ftp: ftp://SEPTIA:dqMrqqMz@ftp.temis.com
A noter que nous avons nettement amélioré le nettoyage des données. Les
entêtes des mails sont enlevés (de: objet: ...) ainsi que les bas de pages
et les notes précédentes attachées en dessous.
Quelques explications supplémentaires sur les données: On ne garde que la
première note de chaque fil de discussion (identifiée comme la première
physiquement dans le fichier avec un nouvel id de discussion). On ne garde
également que la question car l'objectif est d'aider à traiter la première
interaction. On avait discuté cela lors d'une conférence téléphonique mais
je préfère le redire. Si quelqu'un a besoin des données complètes, je peux
les générer sans problème bien sur.
J'ai également mis un rapport html de clustering de documents qui permet dá
voir une vue exploratoire des données. Il faut aller dans le répertoire html
et cliquer sur index.html. Thierry, ca m'intéresse d'avoir ton avis si tu as
le temps de jeter un œil.
Massih, les termes sont typés dans le vecteur que nous fournissons. Ca peut
être intéressant pour choisir les termes à utiliser ou non. Par exemple les
noms propres (PROPER-NAME) ne sont pas forcément intéressants car plus liés
à un cas précis qu'à un type de problème.
Bonne journée à tous,
Pascal
-----Original Message-----
From: septia-bounces(a)lipn.univ-paris13.fr
[mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Denis Lemarchand
Sent: Friday, February 29, 2008 9:05 AM
To: septia(a)lipn.univ-paris13.fr
Subject: [Septia] Nouveau jeu de données
Bonjour,
Voici un nouveau jeu de données + gros (9300 dossiers).
En outre j'ai rajouté un tag pour la langue.
Bonne réception.
Denis.
_______________________________________________
Septia mailing list
Septia(a)lipn.univ-paris13.fr
https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
Bonjour à tous,
FYI
Sylvie Guillemin-Lanne
Project Manager
Tel. : +33 (0)1 40 04 46 87
Mob.: +33 (0)6 22 91 47 32
TEMIS
Tour Gamma B | 193-197, rue de Bercy
75582 PARIS Cedex – FRANCE
Tel.: +33 (0)1 40 04 46 70
Fax: +33 (0)1 40 04 46 80
www.temis.com
Strictly Personal and Confidential
This message may contain confidential and proprietary material for the sole use of the intended recipient. Any review or distribution by or to others is strictly prohibited. If you are not the intended recipient, please contact the sender and delete all copies.
From: BRUNIE Vincent [mailto:Vincent.BRUNIE@agencerecherche.fr]
Sent: Thursday, February 28, 2008 12:22 PM
To: undisclosed-recipients
Subject: Déroulement de la revue de votre projet ANR TechLog 2006
Bonjour,
En complément de mon mail du 20 février, voici quelques précisions sur le déroulement de la revue de votre projet à l'ANR.
Horaires
Le créneau prévu pour votre projet est soit de 2h soit de 1h45 (voir le planning que je vous ai déjà envoyé). Je vous conseille d'arriver 10mn avant car l'accueil risque d'être un peu saturé ce jour là. Si vous êtes nombreux, il est sans doute plus simple que vous vous regroupiez à l'accueil au rez de chaussée avant de monter à la salle de réunion (4e étage).
De la même façon, nous veillerons à ce que vous respectiez le temps imparti.
Agenda
1) Présentation des travaux: 1h30 ou 1h45 (en fonction de la durée de votre revue)
La présentation peut être organisée de la façon qui vous semble la plus adaptée à votre projet, en faisant attention aux points suivants:
- Prévoir du temps pour les questions / réponses: le plus souvent, les experts préfèrent poser des questions au fur et à mesure, je vous suggère de prévoir un temps de questions à la fin de chaque partie, plutot qu'en une seule fois.
- Remise en contexte: il est nécessaire de prévoir un bref rappel du contexte et des objectifs du projet.
- Contenu de la présentation: les aspects techniques et scientifiques sont bien entendus prédominants, mais il est également nécessaire de présenter les autres aspects du projet, notamment organisation de projet, dissémination, etc.
- Démonstration: il est possible d'inclure une démonstration dans votre exposé.
- Difficultés recontrées: si votre projet a rencontré des difficultés particulières, il est important de prévoir du temps pour en parler; l'objectif de ces revues est de vous aider à mener votre projet à bien, et les solutions pourront être discutées et validées lors de cette réunion.
2) Délibération et restitution: 15mn
Les 15 dernières minutes seront consacrées à une délibération des experts et à une restitution "à chaud" de l'avis sur votre projet. Un retour plus formel vous sera fait par écrit par la suite.
Représentation
Il n'est pas obligatoire que l'ensemble du consortium soit représenté, par contre il est nécessaire que toutes les compétences soient présentes, ce qui se traduit souvent par une représentation de chacun des partenaires.
Matériel
Vous disposerez d'un vidéoprojecteur sur lequel vous pourrez connecter votre PC (ou Mac...). Si vous avez besoin d'une connexion internet, par exemple pour une démo, faites le moi savoir (connexion http uniquement, via un proxy).
Bien cordialement,
Vincent Brunie
--
Vincent Brunie
Agence Nationale de la Recherche - Département STIC
212 rue de Bercy 75012 Paris
Tel. 01.78.098.018 - Fax 01.43.42.49.96
www.agence-nationale-recherche.fr <http://www.agence-nationale-recherche.fr/>
