Re: [Septia] Resultats de Clusteringd'Emails
Thierry, Il serait effectivement mieux en XMLisant les sorties. Je suis en plein préparation de cours et je ne pourrai malheureusement pas le faire ici le mardi, mais je le note et on fournira les résultats sous cette forme pour le test sur le jeu de données plus conséquent et filtré. Amicalement, Massih
Victor,
pourrais-tu aussi faire en sorte que les mots ne soient pas tronqués ? Dans l'état actuel des choses, les résultats (mots décrivant les clusters) sont assez difficilement compréhensibles.
D'autre part, des emails en anglais sont mélangés avec les emails français, et il semble que cela donne un bruit de fond assez général. D'ici demain, nous allons faire parvenir un jeu de donné plus important (plus d'emails) et dans lequel nous allons rajouter l'information sur la langue de l'email.
Pascal,
ceci peut-il être détecté automatiquement lors de la préparation des documents ? sera-t-il possible de faire passer à nouveau la chaîne complète sur ce nouveau jeu de données ?
Massih,
Je reviens sur l'interprétation des résultats. Serait-il possible de fournir les résultats sous la forme d'un fichier XML qui reprendrait les informations initiales, c'est-à-dire pour chaque cluster : la liste des emails le décrivant ainsi que les emails eux-mêmes tout ça bien structuré en XML (cf. format utilisé par Témis qui est très lisible et exploitable) ? Ainsi, la validation pourrait se faire de façon grandement simplifiée. On pourrait même envisager d'écrire une transformation XSL qui nous génère un beau fichier HTML bien présentable en sortie ...
Qu'en pensez vous ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Victor Coustenoble Envoyé : jeudi 28 février 2008 14:50 À : Massih AMINI Cc : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails
Ok je regarde de mon côté comment concerver les _
Massih, Il me faudra aussi le fichier sous la forme (ID,ClustersID) pour faire mon clustering supervisé. Je le fais pour l'instant sur les données envoyés hier, tu auras des résultats demain.
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Massih AMINI Sent: jeudi 28 février 2008 14:46 To: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails
Voici les nouveaux resultats de clustering. Les groupes de mots trouvés maintenant sont à examiner mais il y a par exemple ce group dans lequel les différentes variantes de "boîte-à-lettre" que l'algo a trouver juste par les occurrences. Si on on peut avoir les mots composés (avec le séparateur '-' par exemple) le résultat serait encore plus intéressant à regarder.
--> boît lettr avancemerc informat aslihan internaut sefair impact boîteà vu désactiv lin hi lelettr apres flood allou second responsabled départementinformat mauv phénomen bloquébloqu leservicesystem reseautel servicesystem
Massih
Massih,
Ok. On va essayer de dégager un peu de temps pour ça entre aujourd'hui et demain.
Merci,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : jeudi 28 février 2008 12:56 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails
Thierry, Victor,
Oui c'est une très bonne idée, je relancerai mes experiences pour avoir le clustering des emails et les termes. J'essaierai d'avoir les emails textes décrivant les plus caractéristiques de chacun des groupes. Thierry, vous pourrez regarder les resultats des clustering de mots et d'emails si je vous envoie le tout ici demain? Ca c'est au cas où j'aurai le fichier d'index par Victor aujourd'hui.
Amicalement,
Massih
Bonjour à tous,
Nous venons de faire une première passe express de validation des
résultats.
La pertinence des clusters ne saute pas aux yeux quand on considère le regroupement des mots les décrivant. Pour certains d'entre eux, il y a des relations claires, mais pas toujours. D'autre part la présentation
(accents,
mots tronqués) n'aide pas.
Partant de ça, nous avons regardé pourquoi la description des clusters
était
donnée sous forme de mots et non de formes syntaxiques telles qu'extraites par Pascal (cf. fichier de sortie fournis par Pascal). En discutant avec Victor, nous avons vu que le passage dans KXEN considérait une forme syntaxique composée de plusieurs mots (eg. "boîte à=le lettre" ) comme plusieurs entités et non comme une seule. Il faudrait considérer cela
comme
une seule entité, ou mot. Un moyen simple pour cela serait de remplacer
tous
les séparateurs par un blanc souligné '_' (ie. "boîte_à_le_lettre") et de relancer la chaîne complète.
Cela est-il possible dans les temps impartis ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de
chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
Super ! bon courage pour les cours ;) --Thierry -----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : jeudi 28 février 2008 15:22 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails Thierry, Il serait effectivement mieux en XMLisant les sorties. Je suis en plein préparation de cours et je ne pourrai malheureusement pas le faire ici le mardi, mais je le note et on fournira les résultats sous cette forme pour le test sur le jeu de données plus conséquent et filtré. Amicalement, Massih
Victor,
pourrais-tu aussi faire en sorte que les mots ne soient pas tronqués ? Dans l'état actuel des choses, les résultats (mots décrivant les clusters) sont assez difficilement compréhensibles.
D'autre part, des emails en anglais sont mélangés avec les emails français, et il semble que cela donne un bruit de fond assez général. D'ici demain, nous allons faire parvenir un jeu de donné plus important (plus d'emails) et dans lequel nous allons rajouter l'information sur la langue de l'email.
Pascal,
ceci peut-il être détecté automatiquement lors de la préparation des documents ? sera-t-il possible de faire passer à nouveau la chaîne complète sur ce nouveau jeu de données ?
Massih,
Je reviens sur l'interprétation des résultats. Serait-il possible de fournir les résultats sous la forme d'un fichier XML qui reprendrait les informations initiales, c'est-à-dire pour chaque cluster : la liste des emails le décrivant ainsi que les emails eux-mêmes tout ça bien structuré en XML (cf. format utilisé par Témis qui est très lisible et exploitable) ? Ainsi, la validation pourrait se faire de façon grandement simplifiée. On pourrait même envisager d'écrire une transformation XSL qui nous génère un beau fichier HTML bien présentable en sortie ...
Qu'en pensez vous ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Victor Coustenoble Envoyé : jeudi 28 février 2008 14:50 À : Massih AMINI Cc : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails
Ok je regarde de mon côté comment concerver les _
Massih, Il me faudra aussi le fichier sous la forme (ID,ClustersID) pour faire mon clustering supervisé. Je le fais pour l'instant sur les données envoyés hier, tu auras des résultats demain.
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Massih AMINI Sent: jeudi 28 février 2008 14:46 To: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails
Voici les nouveaux resultats de clustering. Les groupes de mots trouvés maintenant sont à examiner mais il y a par exemple ce group dans lequel les différentes variantes de "boîte-à-lettre" que l'algo a trouver juste par les occurrences. Si on on peut avoir les mots composés (avec le séparateur '-' par exemple) le résultat serait encore plus intéressant à regarder.
--> boît lettr avancemerc informat aslihan internaut sefair impact boîteà vu désactiv lin hi lelettr apres flood allou second responsabled départementinformat mauv phénomen bloquébloqu leservicesystem reseautel servicesystem
Massih
Massih,
Ok. On va essayer de dégager un peu de temps pour ça entre aujourd'hui et demain.
Merci,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : jeudi 28 février 2008 12:56 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails
Thierry, Victor,
Oui c'est une très bonne idée, je relancerai mes experiences pour avoir le clustering des emails et les termes. J'essaierai d'avoir les emails textes décrivant les plus caractéristiques de chacun des groupes. Thierry, vous pourrez regarder les resultats des clustering de mots et d'emails si je vous envoie le tout ici demain? Ca c'est au cas où j'aurai le fichier d'index par Victor aujourd'hui.
Amicalement,
Massih
Bonjour à tous,
Nous venons de faire une première passe express de validation des
résultats.
La pertinence des clusters ne saute pas aux yeux quand on considère le regroupement des mots les décrivant. Pour certains d'entre eux, il y a des relations claires, mais pas toujours. D'autre part la présentation
(accents,
mots tronqués) n'aide pas.
Partant de ça, nous avons regardé pourquoi la description des clusters
était
donnée sous forme de mots et non de formes syntaxiques telles qu'extraites par Pascal (cf. fichier de sortie fournis par Pascal). En discutant avec Victor, nous avons vu que le passage dans KXEN considérait une forme syntaxique composée de plusieurs mots (eg. "boîte à=le lettre" ) comme plusieurs entités et non comme une seule. Il faudrait considérer cela
comme
une seule entité, ou mot. Un moyen simple pour cela serait de remplacer
tous
les séparateurs par un blanc souligné '_' (ie. "boîte_à_le_lettre") et de relancer la chaîne complète.
Cela est-il possible dans les temps impartis ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de
chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00 _______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
participants (2)
-
Massih AMINI -
Thierry Gandilhon