Re: [Septia] Resultats de Clusteringd'Emails
Massih, Ci-joint un nouveau fichier provenant de KXEN avec: Champs 1 : ID de la requete Champs 2 : ID KXEN Les autres champs : les mots gardés par KXEN en gardant la structure sémantique trouvée par Temis ainsi que les accents (malheureusement les _ ont été supprimés dans notre traitement, ceci pourra être évité + tard). Les 2 derniers étant des comptages de KXEN Peux-tu refaire tes clusters sur ces données ? Victor ============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76 -----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: jeudi 28 février 2008 11:29 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails Bonjour à tous, Nous venons de faire une première passe express de validation des résultats. La pertinence des clusters ne saute pas aux yeux quand on considère le regroupement des mots les décrivant. Pour certains d'entre eux, il y a des relations claires, mais pas toujours. D'autre part la présentation (accents, mots tronqués) n'aide pas. Partant de ça, nous avons regardé pourquoi la description des clusters était donnée sous forme de mots et non de formes syntaxiques telles qu'extraites par Pascal (cf. fichier de sortie fournis par Pascal). En discutant avec Victor, nous avons vu que le passage dans KXEN considérait une forme syntaxique composée de plusieurs mots (eg. "boîte à=le lettre" ) comme plusieurs entités et non comme une seule. Il faudrait considérer cela comme une seule entité, ou mot. Un moyen simple pour cela serait de remplacer tous les séparateurs par un blanc souligné '_' (ie. "boîte_à_le_lettre") et de relancer la chaîne complète. Cela est-il possible dans les temps impartis ? Amicalement, --Thierry -----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails Désolé je n'avais pas bien mis l'adresse du récepiant au départ. Bonjour, Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp? Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe. Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé? Amicalement, Massih -- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
Victor, Massih, Le fait que les '_' et les lettres accentuées aient été supprimés et les mots tronqués ne va-t-il pas nous rammener sur un problème identique au précédent : mélange des groupes nominaux et des mots ? --Thierry -----Message d'origine----- De : Victor Coustenoble [mailto:Victor.Coustenoble@kxen.com] Envoyé : jeudi 28 février 2008 11:54 À : Massih AMINI Cc : septia@lipn.univ-paris13.fr; Thierry Gandilhon Objet : RE: [Septia] Resultats de Clusteringd'Emails Massih, Ci-joint un nouveau fichier provenant de KXEN avec: Champs 1 : ID de la requete Champs 2 : ID KXEN Les autres champs : les mots gardés par KXEN en gardant la structure sémantique trouvée par Temis ainsi que les accents (malheureusement les _ ont été supprimés dans notre traitement, ceci pourra être évité + tard). Les 2 derniers étant des comptages de KXEN Peux-tu refaire tes clusters sur ces données ? Victor ============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76 -----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: jeudi 28 février 2008 11:29 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails Bonjour à tous, Nous venons de faire une première passe express de validation des résultats. La pertinence des clusters ne saute pas aux yeux quand on considère le regroupement des mots les décrivant. Pour certains d'entre eux, il y a des relations claires, mais pas toujours. D'autre part la présentation (accents, mots tronqués) n'aide pas. Partant de ça, nous avons regardé pourquoi la description des clusters était donnée sous forme de mots et non de formes syntaxiques telles qu'extraites par Pascal (cf. fichier de sortie fournis par Pascal). En discutant avec Victor, nous avons vu que le passage dans KXEN considérait une forme syntaxique composée de plusieurs mots (eg. "boîte à=le lettre" ) comme plusieurs entités et non comme une seule. Il faudrait considérer cela comme une seule entité, ou mot. Un moyen simple pour cela serait de remplacer tous les séparateurs par un blanc souligné '_' (ie. "boîte_à_le_lettre") et de relancer la chaîne complète. Cela est-il possible dans les temps impartis ? Amicalement, --Thierry -----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails Désolé je n'avais pas bien mis l'adresse du récepiant au départ. Bonjour, Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp? Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe. Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé? Amicalement, Massih -- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
Oui je vais relancer mes scripts. Massih
Massih,
Ci-joint un nouveau fichier provenant de KXEN avec: Champs 1 : ID de la requete Champs 2 : ID KXEN Les autres champs : les mots gardés par KXEN en gardant la structure sémantique trouvée par Temis ainsi que les accents (malheureusement les _ ont été supprimés dans notre traitement, ceci pourra être évité + tard). Les 2 derniers étant des comptages de KXEN
Peux-tu refaire tes clusters sur ces données ?
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: jeudi 28 février 2008 11:29 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails
Bonjour à tous,
Nous venons de faire une première passe express de validation des résultats. La pertinence des clusters ne saute pas aux yeux quand on considère le regroupement des mots les décrivant. Pour certains d'entre eux, il y a des relations claires, mais pas toujours. D'autre part la présentation (accents, mots tronqués) n'aide pas.
Partant de ça, nous avons regardé pourquoi la description des clusters était donnée sous forme de mots et non de formes syntaxiques telles qu'extraites par Pascal (cf. fichier de sortie fournis par Pascal). En discutant avec Victor, nous avons vu que le passage dans KXEN considérait une forme syntaxique composée de plusieurs mots (eg. "boîte à=le lettre" ) comme plusieurs entités et non comme une seule. Il faudrait considérer cela comme une seule entité, ou mot. Un moyen simple pour cela serait de remplacer tous les séparateurs par un blanc souligné '_' (ie. "boîte_à_le_lettre") et de relancer la chaîne complète.
Cela est-il possible dans les temps impartis ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
participants (3)
-
Massih AMINI -
Thierry Gandilhon -
Victor Coustenoble