Re: [Septia] Resultats de Clusteringd'Emails
Alors dans la transformation XML -> TXT je conserve bien les accents (voir le fichier temis.txt ci-joint) Puis dans ma transformation avec KTC, je ne garde que la racine des mots et donc ça doit être à ce moment là que les accents sont perdus (voir le fichier temis_ktc_tc_2000.txt). Je vais demandé en interne si c'est normal et comment peut être éviter cela. Victor ============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76 -----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: mercredi 27 février 2008 18:16 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails Victor, As-tu une idée sur les accents perdus ? Amicalement, --Thierry -----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 17:46 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails Thierry, Les termes sont lémmatisés (mis sous leur forme radicale - racine) en amont par les outils de temis. Je pense que c'est à ce moment là où les accents sont enlevés et que les mots sont mis sous leur forme réduite. Amicalement, Massih
Merci Massih,
On commence à analyser ça.
Question : on voit dans le fichier que les lettres accentuées ont été perdues. A quel moment de la chaîne l'ont-elles été ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00 _______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
Le vecteur sémantique que nous fournissons est basé sur les lemmes des termes. Les mots sont donc déjà ramenés à une forme générique (singulier, infinitif...) et l'étape de garder les racines ensuite n'est sans doute pas nécessaire. Pascal -----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Victor Coustenoble Sent: Wednesday, February 27, 2008 12:22 PM To: Thierry Gandilhon; Massih AMINI Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails Alors dans la transformation XML -> TXT je conserve bien les accents (voir le fichier temis.txt ci-joint) Puis dans ma transformation avec KTC, je ne garde que la racine des mots et donc ça doit être à ce moment là que les accents sont perdus (voir le fichier temis_ktc_tc_2000.txt). Je vais demandé en interne si c'est normal et comment peut être éviter cela. Victor ============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76 -----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: mercredi 27 février 2008 18:16 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails Victor, As-tu une idée sur les accents perdus ? Amicalement, --Thierry -----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 17:46 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails Thierry, Les termes sont lémmatisés (mis sous leur forme radicale - racine) en amont par les outils de temis. Je pense que c'est à ce moment là où les accents sont enlevés et que les mots sont mis sous leur forme réduite. Amicalement, Massih
Merci Massih,
On commence à analyser ça.
Question : on voit dans le fichier que les lettres accentuées ont été perdues. A quel moment de la chaîne l'ont-elles été ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00 _______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
Ok, merci pour ces précisions. Les accents non-plus ne sont pas nécessaires dans l'étape de codage des mots vu qu'il ne devrait pas y avoir un terme accentué qui apparaiterait deux fois (une fois avec un accent et une fois sans) parmi les termes que votre outil garde à la fin? Massih
Le vecteur sémantique que nous fournissons est basé sur les lemmes des termes. Les mots sont donc déjà ramenés à une forme générique (singulier, infinitif...) et l'étape de garder les racines ensuite n'est sans doute pas nécessaire.
Pascal
-----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Victor Coustenoble Sent: Wednesday, February 27, 2008 12:22 PM To: Thierry Gandilhon; Massih AMINI Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails
Alors dans la transformation XML -> TXT je conserve bien les accents (voir le fichier temis.txt ci-joint)
Puis dans ma transformation avec KTC, je ne garde que la racine des mots et donc ça doit être à ce moment là que les accents sont perdus (voir le fichier temis_ktc_tc_2000.txt). Je vais demandé en interne si c'est normal et comment peut être éviter cela.
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: mercredi 27 février 2008 18:16 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails
Victor,
As-tu une idée sur les accents perdus ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 17:46 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails
Thierry,
Les termes sont lémmatisés (mis sous leur forme radicale - racine) en amont par les outils de temis. Je pense que c'est à ce moment là où les accents sont enlevés et que les mots sont mis sous leur forme réduite.
Amicalement,
Massih
Merci Massih,
On commence à analyser ça.
Question : on voit dans le fichier que les lettres accentuées ont été perdues. A quel moment de la chaîne l'ont-elles été ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
Effectivement les résultats ne doivent pas être modifiés significativement en ôtant les accents. Les accents permettent de désambiguiser souvent entre adjectifs, noms et verbes (côte/côté, traité/traite ...) mais ici on a déjà des lemmes qui sont moins ambigus car les verbes sont à l'infinitif. Ca peut même permettre de corriger des erreurs classiques d'accents ou de regrouper des variantes (événement/évènement ...) Pascal -----Original Message----- From: Massih AMINI [mailto:Massih-Reza.Amini@lip6.fr] Sent: Wednesday, February 27, 2008 1:26 PM To: Pascal Coupet Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails Ok, merci pour ces précisions. Les accents non-plus ne sont pas nécessaires dans l'étape de codage des mots vu qu'il ne devrait pas y avoir un terme accentué qui apparaiterait deux fois (une fois avec un accent et une fois sans) parmi les termes que votre outil garde à la fin? Massih
Le vecteur sémantique que nous fournissons est basé sur les lemmes des termes. Les mots sont donc déjà ramenés à une forme générique (singulier, infinitif...) et l'étape de garder les racines ensuite n'est sans doute pas nécessaire.
Pascal
-----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Victor Coustenoble Sent: Wednesday, February 27, 2008 12:22 PM To: Thierry Gandilhon; Massih AMINI Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails
Alors dans la transformation XML -> TXT je conserve bien les accents (voir le fichier temis.txt ci-joint)
Puis dans ma transformation avec KTC, je ne garde que la racine des mots et donc ça doit être à ce moment là que les accents sont perdus (voir le fichier temis_ktc_tc_2000.txt). Je vais demandé en interne si c'est normal et comment peut être éviter cela.
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: mercredi 27 février 2008 18:16 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails
Victor,
As-tu une idée sur les accents perdus ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 17:46 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails
Thierry,
Les termes sont lémmatisés (mis sous leur forme radicale - racine) en amont par les outils de temis. Je pense que c'est à ce moment là où les accents sont enlevés et que les mots sont mis sous leur forme réduite.
Amicalement,
Massih
Merci Massih,
On commence à analyser ça.
Question : on voit dans le fichier que les lettres accentuées ont été perdues. A quel moment de la chaîne l'ont-elles été ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
Bonjour, Pour le livrable 2.3 il serait bien de mettre quelques exemples de clusters de mots contenant des termes entiers, accentués, non-lemmatisés. Sylvie, Pascal, pouvez-vous m'envoyer une liste de correspondance entre les mots que vous avez retenus pour la base Eptica et leur lemmes associés. (Je me débrouillerai pour les accents) Merci, Massih
Le vecteur sémantique que nous fournissons est basé sur les lemmes des termes. Les mots sont donc déjà ramenés à une forme générique (singulier, infinitif...) et l'étape de garder les racines ensuite n'est sans doute pas nécessaire.
Pascal
-----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Victor Coustenoble Sent: Wednesday, February 27, 2008 12:22 PM To: Thierry Gandilhon; Massih AMINI Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails
Alors dans la transformation XML -> TXT je conserve bien les accents (voir le fichier temis.txt ci-joint)
Puis dans ma transformation avec KTC, je ne garde que la racine des mots et donc ça doit être à ce moment là que les accents sont perdus (voir le fichier temis_ktc_tc_2000.txt). Je vais demandé en interne si c'est normal et comment peut être éviter cela.
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: mercredi 27 février 2008 18:16 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails
Victor,
As-tu une idée sur les accents perdus ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 17:46 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails
Thierry,
Les termes sont lémmatisés (mis sous leur forme radicale - racine) en amont par les outils de temis. Je pense que c'est à ce moment là où les accents sont enlevés et que les mots sont mis sous leur forme réduite.
Amicalement,
Massih
Merci Massih,
On commence à analyser ça.
Question : on voit dans le fichier que les lettres accentuées ont été perdues. A quel moment de la chaîne l'ont-elles été ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
-- Massih-Reza AMINI LIP6 - Pôle IA, Thème APA 8, rue du Capitaine Scott - 75015 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax : (33) 1 44 27 70 00
Massih, Dans le doc il serait peut être aussi intéressant de mettre quelques exemples de fichiers qui nous ont servi durant les différentes étapes : 1/ Fichier original des Emails Eptica 2/ Fichier XML de Temis avec Vectorisation 3/ Fichier TXT pour analyse KXEN 4/ Fichier KXEN après traitement KTC 4/ Tes fichiers de résultats ... Qu'en penes-tu ? as-tu tous les fichiers ? Victor ============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76 -----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Massih Amini Sent: jeudi 28 février 2008 08:58 To: Pascal Coupet Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails Bonjour, Pour le livrable 2.3 il serait bien de mettre quelques exemples de clusters de mots contenant des termes entiers, accentués, non-lemmatisés. Sylvie, Pascal, pouvez-vous m'envoyer une liste de correspondance entre les mots que vous avez retenus pour la base Eptica et leur lemmes associés. (Je me débrouillerai pour les accents) Merci, Massih
Le vecteur sémantique que nous fournissons est basé sur les lemmes des termes. Les mots sont donc déjà ramenés à une forme générique (singulier, infinitif...) et l'étape de garder les racines ensuite n'est sans doute pas nécessaire.
Pascal
-----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Victor Coustenoble Sent: Wednesday, February 27, 2008 12:22 PM To: Thierry Gandilhon; Massih AMINI Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails
Alors dans la transformation XML -> TXT je conserve bien les accents (voir le fichier temis.txt ci-joint)
Puis dans ma transformation avec KTC, je ne garde que la racine des mots et donc ça doit être à ce moment là que les accents sont perdus (voir le fichier temis_ktc_tc_2000.txt). Je vais demandé en interne si c'est normal et comment peut être éviter cela.
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: mercredi 27 février 2008 18:16 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails
Victor,
As-tu une idée sur les accents perdus ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 17:46 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails
Thierry,
Les termes sont lémmatisés (mis sous leur forme radicale - racine) en amont par les outils de temis. Je pense que c'est à ce moment là où les accents sont enlevés et que les mots sont mis sous leur forme réduite.
Amicalement,
Massih
Merci Massih,
On commence à analyser ça.
Question : on voit dans le fichier que les lettres accentuées ont été perdues. A quel moment de la chaîne l'ont-elles été ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
-- Massih-Reza AMINI LIP6 - Pôle IA, Thème APA 8, rue du Capitaine Scott - 75015 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax : (33) 1 44 27 70 00 _______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
Victor, c'est prévu j'ai les fichiers mais sous forme texte; si je pouvais montrert les différents sorite d'une maniere plus visuelle ca serait mieux. T'as une idée? Massih
Massih,
Dans le doc il serait peut être aussi intéressant de mettre quelques exemples de fichiers qui nous ont servi durant les différentes étapes : 1/ Fichier original des Emails Eptica 2/ Fichier XML de Temis avec Vectorisation 3/ Fichier TXT pour analyse KXEN 4/ Fichier KXEN après traitement KTC 4/ Tes fichiers de résultats ...
Qu'en penes-tu ? as-tu tous les fichiers ?
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Massih Amini Sent: jeudi 28 février 2008 08:58 To: Pascal Coupet Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails
Bonjour,
Pour le livrable 2.3 il serait bien de mettre quelques exemples de clusters de mots contenant des termes entiers, accentués, non-lemmatisés.
Sylvie, Pascal, pouvez-vous m'envoyer une liste de correspondance entre les mots que vous avez retenus pour la base Eptica et leur lemmes associés. (Je me débrouillerai pour les accents)
Merci,
Massih
Le vecteur sémantique que nous fournissons est basé sur les lemmes des termes. Les mots sont donc déjà ramenés à une forme générique (singulier, infinitif...) et l'étape de garder les racines ensuite n'est sans doute pas nécessaire.
Pascal
-----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Victor Coustenoble Sent: Wednesday, February 27, 2008 12:22 PM To: Thierry Gandilhon; Massih AMINI Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails
Alors dans la transformation XML -> TXT je conserve bien les accents (voir le fichier temis.txt ci-joint)
Puis dans ma transformation avec KTC, je ne garde que la racine des mots et donc ça doit être à ce moment là que les accents sont perdus (voir le fichier temis_ktc_tc_2000.txt). Je vais demandé en interne si c'est normal et comment peut être éviter cela.
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: mercredi 27 février 2008 18:16 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails
Victor,
As-tu une idée sur les accents perdus ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 17:46 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails
Thierry,
Les termes sont lémmatisés (mis sous leur forme radicale - racine) en amont par les outils de temis. Je pense que c'est à ce moment là où les accents sont enlevés et que les mots sont mis sous leur forme réduite.
Amicalement,
Massih
Merci Massih,
On commence à analyser ça.
Question : on voit dans le fichier que les lettres accentuées ont été perdues. A quel moment de la chaîne l'ont-elles été ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
--
Massih-Reza AMINI LIP6 - Pôle IA, Thème APA 8, rue du Capitaine Scott - 75015 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax : (33) 1 44 27 70 00 _______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
-- Massih-Reza AMINI LIP6 - Pôle IA, Thème APA 8, rue du Capitaine Scott - 75015 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax : (33) 1 44 27 70 00
Je rebondis sur la remarque de Massih sur la présentation. Le fait de disposer de la description des cluster avec des mots privés de leurs accents, et parfois tronqués rend la validation assez difficile. Nous avons travaillé sur ces résultats hier soir, et il est assez difficile de se faire une idée précise de ce qu'il en ressort. Ne serait-il pas possible de restituer les accents et les mots complets ? Amicalement, --Thierry -----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih Amini Envoyé : jeudi 28 février 2008 09:48 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails Victor, c'est prévu j'ai les fichiers mais sous forme texte; si je pouvais montrert les différents sorite d'une maniere plus visuelle ca serait mieux. T'as une idée? Massih
Massih,
Dans le doc il serait peut être aussi intéressant de mettre quelques exemples de fichiers qui nous ont servi durant les différentes étapes : 1/ Fichier original des Emails Eptica 2/ Fichier XML de Temis avec Vectorisation 3/ Fichier TXT pour analyse KXEN 4/ Fichier KXEN après traitement KTC 4/ Tes fichiers de résultats ...
Qu'en penes-tu ? as-tu tous les fichiers ?
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Massih Amini Sent: jeudi 28 février 2008 08:58 To: Pascal Coupet Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails
Bonjour,
Pour le livrable 2.3 il serait bien de mettre quelques exemples de clusters de mots contenant des termes entiers, accentués, non-lemmatisés.
Sylvie, Pascal, pouvez-vous m'envoyer une liste de correspondance entre les mots que vous avez retenus pour la base Eptica et leur lemmes associés. (Je me débrouillerai pour les accents)
Merci,
Massih
Le vecteur sémantique que nous fournissons est basé sur les lemmes des termes. Les mots sont donc déjà ramenés à une forme générique (singulier, infinitif...) et l'étape de garder les racines ensuite n'est sans doute pas nécessaire.
Pascal
-----Original Message----- From: septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] On Behalf Of Victor Coustenoble Sent: Wednesday, February 27, 2008 12:22 PM To: Thierry Gandilhon; Massih AMINI Cc: septia@lipn.univ-paris13.fr Subject: Re: [Septia] Resultats de Clusteringd'Emails
Alors dans la transformation XML -> TXT je conserve bien les accents (voir le fichier temis.txt ci-joint)
Puis dans ma transformation avec KTC, je ne garde que la racine des mots et donc ça doit être à ce moment là que les accents sont perdus (voir le fichier temis_ktc_tc_2000.txt). Je vais demandé en interne si c'est normal et comment peut être éviter cela.
Victor
============================================ Victor Coustenoble Integration & Project Manager KXEN - the data mining automation company (tm) direct: +33 (0)1 41 44 94 76
-----Original Message----- From: Thierry Gandilhon [mailto:thierry.gandilhon@eptica.com] Sent: mercredi 27 février 2008 18:16 To: Victor Coustenoble; 'Massih AMINI' Cc: septia@lipn.univ-paris13.fr Subject: RE: [Septia] Resultats de Clusteringd'Emails
Victor,
As-tu une idée sur les accents perdus ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 17:46 À : septia@lipn.univ-paris13.fr Objet : Re: [Septia] Resultats de Clusteringd'Emails
Thierry,
Les termes sont lémmatisés (mis sous leur forme radicale - racine) en amont par les outils de temis. Je pense que c'est à ce moment là où les accents sont enlevés et que les mots sont mis sous leur forme réduite.
Amicalement,
Massih
Merci Massih,
On commence à analyser ça.
Question : on voit dans le fichier que les lettres accentuées ont été perdues. A quel moment de la chaîne l'ont-elles été ?
Amicalement,
--Thierry
-----Message d'origine----- De : septia-bounces@lipn.univ-paris13.fr [mailto:septia-bounces@lipn.univ-paris13.fr] De la part de Massih AMINI Envoyé : mercredi 27 février 2008 16:08 À : septia@lipn.univ-paris13.fr Objet : [Septia] Resultats de Clusteringd'Emails
Désolé je n'avais pas bien mis l'adresse du récepiant au départ.
Bonjour,
Ci-joint les resultats de clustering d'emails dans l'espace de concepts induit par l'algo CEM sur la chaine des pretraitements temis-kxen que Victor nous a envoyé Mardi. Les clusters de mots (40) sont tres significatifs à vu d'oeil d'un non-expert. Thierry pouvez-vous confirmer/infirmer, svp?
Dans le fichier (ClusteringInCptSpace+Temis-Kxen_Pretraitment) chaque ligne correspond à une partition d'emails et l'entier du début de ligne correspond au nombre d'emails trouvés dans la partition trouvée. Je lance nos modeles semi-supervisé sur cette base et mettrai dans le livrable 2.3 les emails les plus caractéristiques de chaque classe.
Victor, dans le fichier d'emails BaseEptica les numero de lignes des emails correspondent avec les indexKxen du fichier que tu nous a envoyé?
Amicalement,
Massih
-- Massih-Reza AMINI - Maître de Conférences LIP6 - Pôle IA, Thème APA 104, Avenue du Président Kennedy - 75016 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax: (33) 1 44 27 70 00
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
_______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
--
Massih-Reza AMINI LIP6 - Pôle IA, Thème APA 8, rue du Capitaine Scott - 75015 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax : (33) 1 44 27 70 00 _______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
-- Massih-Reza AMINI LIP6 - Pôle IA, Thème APA 8, rue du Capitaine Scott - 75015 Paris http://www-connex.lip6.fr/~amini/ tel : (33) 1 44 27 37 92 fax : (33) 1 44 27 70 00 _______________________________________________ Septia mailing list Septia@lipn.univ-paris13.fr https://intranet.lipn.univ-paris13.fr/mailman/listinfo/septia
participants (5)
-
Massih Amini -
Massih AMINI
-
Pascal Coupet -
Thierry Gandilhon -
Victor Coustenoble