//Projet financée par l'Agence Universitaire de la Francophonie (inciative PIRAT 2015). [[Golfred: Generación de relatos de experiencias espaciales en robots de servicio por extracción de conocimiento a partir de textos|Version en espagnol ici]]//, résumé [[Machine reading for narrative generation of spatial experiences in service robots|en anglais là]]
+
//Projet financée par l'Agence Universitaire de la Francophonie (inciative PIRAT 2015). [[equipes:rcln:ancien_wiki:projets:golfred:es|Version en espagnol ici]]//, résumé [[equipes:rcln:ancien_wiki:projets:golfred:machine_reading_service_robots|en anglais là]]
===== Résumé du projet =====
===== Résumé du projet =====
Ligne 30:
Ligne 30:
===== Contexte, positionnement et objectifs scientifiques =====
===== Contexte, positionnement et objectifs scientifiques =====
==== Introduction ====
==== Introduction ====
-
La robotique de service est considérée comme un axe stratégique du développement industriel dans le prochaines 20 années <ref> Aurélie Sobocinski. //[[https://lejournal.cnrs.fr/articles/quel-avenir-pour-la-robotique-de-service|Quel avenir pour la robotique de service ?]]// CNRS Le journal, 28.07.2014. </ref>. Un enjeu capital dans la robotique de service est la question de l'acquisition des connaissances nécessaires pour qu'un robot raisonne dans un environnement informationnel incomplet, où la structure de la tâche à accomplir ne peut pas être prévue à l'avance <ref name="service.robot">Luis A. Pineda, Arturo Rodríguez, Gibran Fuentes, Caleb Rascon and Ivan V. Meza. //Concept and Functional Structure of a Service Robot.// International Journal of Advanced Robot Systems, 2015, 12:6.</ref>. Certaines de ces connaissances peuvent être véhiculés par des messages textuels présents dans l'environnement immédiat du robot. Pour qu'un robot puisse accéder au sens de ces messages, il est indispensable d'implémenter un //comportement onomasiologique//<ref name="pottier">Bernard Pottier. Sémantique générale. //Presses universitaires de France//, Paris, 1992.</ref>, c'est-à-dire un système d'algorithmes dont le résultat est un processus de lecture où le robot est capable de percevoir un message écrit dans l’environnement spatial, de transcrire ce signal visuel dans une chaîne de caractères et de déchiffrer cette chaîne pour lui attribuer une interprétation sémantique.
+
La robotique de service est considérée comme un axe stratégique du développement industriel dans le prochaines 20 années [(Aurélie Sobocinski. //[[https://lejournal.cnrs.fr/articles/quel-avenir-pour-la-robotique-de-service|Quel avenir pour la robotique de service ?]]// CNRS Le journal, 28.07.2014.)]. Un enjeu capital dans la robotique de service est la question de l'acquisition des connaissances nécessaires pour qu'un robot raisonne dans un environnement informationnel incomplet, où la structure de la tâche à accomplir ne peut pas être prévue à l'avance [(service.robot>Luis A. Pineda, Arturo Rodríguez, Gibran Fuentes, Caleb Rascon and Ivan V. Meza. //Concept and Functional Structure of a Service Robot.// International Journal of Advanced Robot Systems, 2015, 12:6.)]. Certaines de ces connaissances peuvent être véhiculés par des messages textuels présents dans l'environnement immédiat du robot. Pour qu'un robot puisse accéder au sens de ces messages, il est indispensable d'implémenter un //comportement onomasiologique//[(pottier>Bernard Pottier. Sémantique générale. //Presses universitaires de France//, Paris, 1992.)], c'est-à-dire un système d'algorithmes dont le résultat est un processus de lecture où le robot est capable de percevoir un message écrit dans l’environnement spatial, de transcrire ce signal visuel dans une chaîne de caractères et de déchiffrer cette chaîne pour lui attribuer une interprétation sémantique.
-
Le web peut être utilisé comme un amplificateur de connaissance lorsqu'un message à interpréter n'est pas présent dans la base de connaissances propre au robot <ref>Kai Zhou, Michael Zillich, Hendrik Zender and Markus Vincze. //Web Mining Driven Object Locality Knowledge Acquisition for Efficient Robot Behavior.// 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, October 7-12, 2012. Vilamoura, Algarve, Portugal.</ref> où lorsque le robot a besoin d'informations complémentaires par rapport à un message. Nous proposons d'étendre les capacités informationnelles d'un robot avec un système d'extraction de connaissances conçu pour le web sémantique. De cette manière on cherche à établir un lien entre la base de connaissances nécessaires pour les tâches dites //statiques// (dont le déroulement est connu à l'avance) et les tâches //dynamiques//, où le robot doit faire face à des messages et des instructions dont il peut ignorer le sens. Ces sont ces derniers qui feraient l'objet de requêtes envers le web sémantique pour retrouver une interprétation sémantique adaptée.
+
Le web peut être utilisé comme un amplificateur de connaissance lorsqu'un message à interpréter n'est pas présent dans la base de connaissances propre au robot [(Kai Zhou, Michael Zillich, Hendrik Zender and Markus Vincze. //Web Mining Driven Object Locality Knowledge Acquisition for Efficient Robot Behavior.// 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, October 7-12, 2012. Vilamoura, Algarve, Portugal.)] où lorsque le robot a besoin d'informations complémentaires par rapport à un message. Nous proposons d'étendre les capacités informationnelles d'un robot avec un système d'extraction de connaissances conçu pour le web sémantique. De cette manière on cherche à établir un lien entre la base de connaissances nécessaires pour les tâches dites //statiques// (dont le déroulement est connu à l'avance) et les tâches //dynamiques//, où le robot doit faire face à des messages et des instructions dont il peut ignorer le sens. Ces sont ces derniers qui feraient l'objet de requêtes envers le web sémantique pour retrouver une interprétation sémantique adaptée.
-
En fin, comment évaluer si l’interprétation choisie par le robot devant un message inconnu est la correcte? Pour ce faire, nous proposons de lui attribuer aussi un //comportement sémasiologique//<ref name="pottier"/>, c'est-à-dire, une capacité de générer un récit basé et sur son expérience spatiale et sur les messages qu'il a réussi à lire dans son parcours. Des algorithmes de génération de langage naturel sont donc nécessaires. La tâche que nous proposons consiste alors à donner à un robot la capacité de:
+
En fin, comment évaluer si l’interprétation choisie par le robot devant un message inconnu est la correcte? Pour ce faire, nous proposons de lui attribuer aussi un //comportement sémasiologique//[(pottier)], c'est-à-dire, une capacité de générer un récit basé et sur son expérience spatiale et sur les messages qu'il a réussi à lire dans son parcours. Des algorithmes de génération de langage naturel sont donc nécessaires. La tâche que nous proposons consiste alors à donner à un robot la capacité de:
- Effectuer un itinéraire dans l'espace (par exemple, un musée, un hôpital où l'enceinte du labo);
- Effectuer un itinéraire dans l'espace (par exemple, un musée, un hôpital où l'enceinte du labo);
- lire les messages textuels qu'il retrouve sur son parcours (par example, les noms de personnes sur les portes, les noms des médicaments au chevet des malades, les notices à côté des œuvres dans un musée, la signalétique dans tous les cas);
- lire les messages textuels qu'il retrouve sur son parcours (par example, les noms de personnes sur les portes, les noms des médicaments au chevet des malades, les notices à côté des œuvres dans un musée, la signalétique dans tous les cas);
Ligne 40:
Ligne 40:
- produire un compte rendu des endroits visités ainsi que de ce qu'il a lu sur son chemin.
- produire un compte rendu des endroits visités ainsi que de ce qu'il a lu sur son chemin.
-
Notre hypothèse es que cette tâche est possible en embarquant le système d'extraction de connaissances pour le web sémantique FRED<ref name="fred"/> dans le robot Golem <ref name="service.robot"/>, et en y rajoutant le module de génération de langage naturel du CNRS/LORIA<ref name="beltrachini"/>.
+
Notre hypothèse es que cette tâche est possible en embarquant le système d'extraction de connaissances pour le web sémantique FRED[(fred)] dans le robot Golem [(service.robot)], et en y rajoutant le module de génération de langage naturel du CNRS/LORIA[(beltrachini)].
Dans l'état de l'art on trouve très peu de travaux où les technologies du langage sont appliqués en robotique, hors le cadre de la modélisation de dialogues. D'un point de vue recherche, la tâche qu'on propose permettrait de faire face à des verrous scientifiques interdisciplinaires. En robotique, on serait amené à modéliser les comportements nécessaires à la reconnaissance de messages textuels à partir de la caméra vidéo embarquée dans Golem, et aussi à modéliser la production orale du compte rendu à la fin de l’itinéraire avec une visée multilingue a moyen terme. En extraction de connaissances pour le web sémantique, on devra produire une version de FRED capable d'être embarqué dans un robot sans connexion internet avec une visée également multilingue quant aux messages reçu en entrée. En génération de langage naturel, il faudra un système de génération qui permette de générer avec un minimum d'intervention humaine des description d’itinéraires de bonne qualité.
Dans l'état de l'art on trouve très peu de travaux où les technologies du langage sont appliqués en robotique, hors le cadre de la modélisation de dialogues. D'un point de vue recherche, la tâche qu'on propose permettrait de faire face à des verrous scientifiques interdisciplinaires. En robotique, on serait amené à modéliser les comportements nécessaires à la reconnaissance de messages textuels à partir de la caméra vidéo embarquée dans Golem, et aussi à modéliser la production orale du compte rendu à la fin de l’itinéraire avec une visée multilingue a moyen terme. En extraction de connaissances pour le web sémantique, on devra produire une version de FRED capable d'être embarqué dans un robot sans connexion internet avec une visée également multilingue quant aux messages reçu en entrée. En génération de langage naturel, il faudra un système de génération qui permette de générer avec un minimum d'intervention humaine des description d’itinéraires de bonne qualité.
Ligne 49:
Ligne 49:
==== La robotique de service ====
==== La robotique de service ====
-
La robotique de service consiste à étudier la structure, le comportement et les mécanismes de composition susceptibles d'être appliquées dans des tâches pratiques effectuées par une machine capable d'évoluer avec une certaine indépendance du domaine<ref name="service.robot"/>. Les tâches de la compétition //Robocup@Home//<ref>Sven Wachsmuth, Dirk Holz, Maja Rudinac, Javier Ruiz-del-Solar. //RoboCup@Home - Benchmarking Domestic Service Robots.// Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence, January 25-30, 2015, Austin, Texas.</ref> seraient alors des instances pratiques où des preuves de concept en environnement protégé pour des scénarios réels où le robot doit faire face à des circonstances imprévues. Ainsi, dès cette perspective, le type de tâches permet de distinguer deux types de mécanismes de composition: l'un statique, plus adapté à des tâches dont tous les données et les variations possibles sont connues à l'avance (comme dans les défis de //Robocup@Home//), et l'autre dynamique pour faire face à des scénarios où le robot doit composer avec des commandes arbitraires où des circonstances où les données de la tâche ne sont pas accessibles à priori.
+
La robotique de service consiste à étudier la structure, le comportement et les mécanismes de composition susceptibles d'être appliquées dans des tâches pratiques effectuées par une machine capable d'évoluer avec une certaine indépendance du domaine[(service.robot)]. Les tâches de la compétition //Robocup@Home//[(Sven Wachsmuth, Dirk Holz, Maja Rudinac, Javier Ruiz-del-Solar. //RoboCup@Home - Benchmarking Domestic Service Robots.// Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence, January 25-30, 2015, Austin, Texas.)] seraient alors des instances pratiques où des preuves de concept en environnement protégé pour des scénarios réels où le robot doit faire face à des circonstances imprévues. Ainsi, dès cette perspective, le type de tâches permet de distinguer deux types de mécanismes de composition: l'un statique, plus adapté à des tâches dont tous les données et les variations possibles sont connues à l'avance (comme dans les défis de //Robocup@Home//), et l'autre dynamique pour faire face à des scénarios où le robot doit composer avec des commandes arbitraires où des circonstances où les données de la tâche ne sont pas accessibles à priori.
-
Le robot Golem est un habitué du tournoi //Robocup@Home// <ref>Luis Pineda, The Golem Group: The Golem Team, RoboCup@Home 2011. Proceedings of Robocup 2011. vol --, pp 8. 2011.</ref><ref name="german.open">Luis Pineda, The Golem Group: The Golem Team, RoboCup@Home 2012. Proceedings of Robocup 2012. vol , pp . 2012.</ref><ref>Luis A. Pindea, Grupo Golem: RoboCup@Home 2013. Proceedings of Robocup 2013. vol , pp . 2013.</ref>. La version actuelle du robot (Golem-III) est le résultat d'un travail entamé en 2002 avec un premier robot destiné à instancier un modèle de dialogue pour une activité conversationnelle.<ref>Edith Moya, E., Hernández, M., Pineda, L. and Meza, I.: Speech Recognition with Limited Resources for Children and Adult Speakers. Tenth Mexican International Conference on Artificial Intelligence - Special Session - Revised Papers. vol 2276, pp 57-65. 2011.</ref>. En 2009 une nouvelle version a été développée, avec des capacités de vision et de réaction accrues. Cette version du Golem été capable de jouer au jeu de deviner une carte<ref>Ivan Meza, Salinas, L., Pavón, E., Avilés, H. and Pineda, L.: A Multimodal Dialogue System for Playing the Game "Guess the card". Procesamiento de Lenguaje Natural. . vol 44, pp 131-138. 2010.</ref> avec les enfants visiteurs du musée scientifique //Universum// (UNAM). En 2010 une transformation radicale a produit Golem-II, un nouveau robot de service basé sur une architecture cognitive, un système de dialogue et un interprète de commandes, ces trois éléments étant le cœur du travail théorique. Ce à ce moment que le robot commence à participer dans la compétition //Robocup@Home//, dont il a obtenu la troisième place en 2012<ref name="german.open"/>. La version avec nous proposons de travailler est Golem-III.
+
Le robot Golem est un habitué du tournoi //Robocup@Home// [(Luis Pineda, The Golem Group: The Golem Team, RoboCup@Home 2011. Proceedings of Robocup 2011. vol --, pp 8. 2011.)] [(german.open>Luis Pineda, The Golem Group: The Golem Team, RoboCup@Home 2012. Proceedings of Robocup 2012. vol , pp . 2012.)] [(Luis A. Pindea, Grupo Golem: RoboCup@Home 2013. Proceedings of Robocup 2013. vol , pp . 2013.)]. La version actuelle du robot (Golem-III) est le résultat d'un travail entamé en 2002 avec un premier robot destiné à instancier un modèle de dialogue pour une activité conversationnelle.[(Edith Moya, E., Hernández, M., Pineda, L. and Meza, I.: Speech Recognition with Limited Resources for Children and Adult Speakers. Tenth Mexican International Conference on Artificial Intelligence - Special Session - Revised Papers. vol 2276, pp 57-65. 2011.)]. En 2009 une nouvelle version a été développée, avec des capacités de vision et de réaction accrues. Cette version du Golem été capable de jouer au jeu de deviner une carte[(Ivan Meza, Salinas, L., Pavón, E., Avilés, H. and Pineda, L.: A Multimodal Dialogue System for Playing the Game "Guess the card". Procesamiento de Lenguaje Natural. . vol 44, pp 131-138. 2010.)] avec les enfants visiteurs du musée scientifique //Universum// (UNAM). En 2010 une transformation radicale a produit Golem-II, un nouveau robot de service basé sur une architecture cognitive, un système de dialogue et un interprète de commandes, ces trois éléments étant le cœur du travail théorique. Ce à ce moment que le robot commence à participer dans la compétition //Robocup@Home//, dont il a obtenu la troisième place en 2012[(german.open)]. La version avec nous proposons de travailler est Golem-III.
ToDo: //Photo de Golem-III//
ToDo: //Photo de Golem-III//
Ligne 59:
Ligne 59:
- Faire un compte rendu oral du texte généré par les agents embarqués d'extraction de connaissances (FRED) et génération de langage naturel.
- Faire un compte rendu oral du texte généré par les agents embarqués d'extraction de connaissances (FRED) et génération de langage naturel.
-
Il existe déjà une tâche constant à <ref>Caleb Rascon, Ivan Meza, Gibran Fuentes, Lisset Salinas and Luis A. Pineda. Integration of the Multi-DOA Estimation Functionality to Human-Robot Interaction. Int J Adv Robot Syst, 2015, 12:8</ref> faire un tour qui pourrait servir de base à la modélisation de notre tâche, avec des interruptions déclanchées par des signaux visuelles à la place des interruptions sonores existantes maintenant.
+
Il existe déjà une tâche constant à [(Caleb Rascon, Ivan Meza, Gibran Fuentes, Lisset Salinas and Luis A. Pineda. Integration of the Multi-DOA Estimation Functionality to Human-Robot Interaction. Int J Adv Robot Syst, 2015, 12:8)] faire un tour qui pourrait servir de base à la modélisation de notre tâche, avec des interruptions déclanchées par des signaux visuelles à la place des interruptions sonores existantes maintenant.
==== L'extraction de connaissances à partir des textes pour le web sémantique ====
==== L'extraction de connaissances à partir des textes pour le web sémantique ====
-
L'extraction de connaissances à partir des messages textuelles que nous proposons ici pour trouver le sens des messages que le robot Golem retrouve sur son chemin s'appuie sur les technologies du Web Sémantique, c'est à dire qui est le réseau des données auto-explicites (et donc aisément lisibles par une machine<ref>Oren Etzioni , Michele Banko , Michael J. Cafarella, Machine reading, proceedings of the 21st national conference on Artificial intelligence, p.1517-1519, July 16-20, 2006, Boston, Massachusetts</ref>) à partir des documents peu structurés disponibles sur internet actuellement. FRED<ref name="fred">Aldo Gangemi, Valentina Presutti, Diego Reforgiato Recupero. //Frame-based detection of opinion holders and topics: a model and a tool.// IEEE Computational Intelligence, 9(1), 2014</ref> est un outil de lecture pour le web sémantique conçu dans le cadre de la création d'ontologies à partir de connaissances exprimées en langage naturel, et qui s'inspire de la DRT de Kamp et de la grammaire des cas de Fillmore <ref>V. Presutti, F. Draicchio and A. Gangemi, //A. Knowledge extraction based on discourse representation theory and linguistic frames.// EKAW2012 Conference, LNCS, Springer, 2012.</ref>. FRED reçoit en entrée une suite des phrases en langage naturel pour en produire un graphe en RDF (le format standard d'échange des données pour le web sémantique). L'idée est de représenter dans ce graphe un maximum de connaissances extraites à partir des textes (nom de personnes, dates, événements, sens des termes, taxinomies, relations entre entités) pour en produire un graphe orienté dont les sommets et les arêtes font référence à des données structurés disponibles publiquement, comme DBPedia (la base de données de Wikipedia) et plus généralement au nouage des données ouvertes <ref>by Max Schmachtenberg, Christian Bizer, Anja Jentzsch and Richard Cyganiak, Linking Open Data cloud diagram 2014, http://lod-cloud.net/</ref>.
+
L'extraction de connaissances à partir des messages textuelles que nous proposons ici pour trouver le sens des messages que le robot Golem retrouve sur son chemin s'appuie sur les technologies du Web Sémantique, c'est à dire qui est le réseau des données auto-explicites (et donc aisément lisibles par une machine[(Oren Etzioni , Michele Banko , Michael J. Cafarella, Machine reading, proceedings of the 21st national conference on Artificial intelligence, p.1517-1519, July 16-20, 2006, Boston, Massachusetts)]) à partir des documents peu structurés disponibles sur internet actuellement. FRED[(fred>Aldo Gangemi, Valentina Presutti, Diego Reforgiato Recupero. //Frame-based detection of opinion holders and topics: a model and a tool.// IEEE Computational Intelligence, 9(1), 2014)] est un outil de lecture pour le web sémantique conçu dans le cadre de la création d'ontologies à partir de connaissances exprimées en langage naturel, et qui s'inspire de la DRT de Kamp et de la grammaire des cas de Fillmore [(V. Presutti, F. Draicchio and A. Gangemi, //A. Knowledge extraction based on discourse representation theory and linguistic frames.// EKAW2012 Conference, LNCS, Springer, 2012.)]. FRED reçoit en entrée une suite des phrases en langage naturel pour en produire un graphe en RDF (le format standard d'échange des données pour le web sémantique). L'idée est de représenter dans ce graphe un maximum de connaissances extraites à partir des textes (nom de personnes, dates, événements, sens des termes, taxinomies, relations entre entités) pour en produire un graphe orienté dont les sommets et les arêtes font référence à des données structurés disponibles publiquement, comme DBPedia (la base de données de Wikipedia) et plus généralement au nouage des données ouvertes [(by Max Schmachtenberg, Christian Bizer, Anja Jentzsch and Richard Cyganiak, Linking Open Data cloud diagram 2014, http://lod-cloud.net/)].
//Insérér la réprésentation que FRED fait de la phrase//
//Insérér la réprésentation que FRED fait de la phrase//
Ligne 83:
Ligne 83:
Les approches statistiques utilisent un corpus parallèle alignant texte et données pour apprendre un modèle permettant de générer du texte à partir de nouvelles données.
Les approches statistiques utilisent un corpus parallèle alignant texte et données pour apprendre un modèle permettant de générer du texte à partir de nouvelles données.
-
(Konstas et Lapata 2012)<ref>Konstas, Ioannis, and Mirella Lapata. "Unsupervised concept-to-text generation with hypergraphs." Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies 3 Jun. 2012: 752-761. </ref> apprennent une grammaire hors contexte probabiliste qui décrit comment (dans quel ordre et avec quels mots) les entrées et des champs de la base de données sont verbalisés dans le texte parallèle. (Angeli et al 2010)<ref>Angeli, Gabor, Percy Liang, and Dan Klein. "A simple domain-independent probabilistic approach to generation." Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing 9 Oct. 2010: 502-512.</ref> présente une approche où le processus de génération est décomposé en une séquence de décisions locales, organisées hierarchiquement et apprises par une modèle discriminant. (Wong et Moonery 2007)<ref>Wong, Yuk Wah, and Raymond J Mooney. "Generation by Inverting a Semantic Parser that Uses Statistical Machine Translation." HLT-NAACL 2007: 172-179.</ref> adaptent un système de traduction automatique pour apprendre un modèle qui permet de traduire les données en texte.
+
(Konstas et Lapata 2012)[(Konstas, Ioannis, and Mirella Lapata. "Unsupervised concept-to-text generation with hypergraphs." Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies 3 Jun. 2012: 752-761.)] apprennent une grammaire hors contexte probabiliste qui décrit comment (dans quel ordre et avec quels mots) les entrées et des champs de la base de données sont verbalisés dans le texte parallèle. (Angeli et al 2010)[(Angeli, Gabor, Percy Liang, and Dan Klein. "A simple domain-independent probabilistic approach to generation." Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing 9 Oct. 2010: 502-512.)] présente une approche où le processus de génération est décomposé en une séquence de décisions locales, organisées hierarchiquement et apprises par une modèle discriminant. (Wong et Moonery 2007)[(Wong, Yuk Wah, and Raymond J Mooney. "Generation by Inverting a Semantic Parser that Uses Statistical Machine Translation." HLT-NAACL 2007: 172-179.)] adaptent un système de traduction automatique pour apprendre un modèle qui permet de traduire les données en texte.
Si ces approches sont souvent efficaces et robustes, la qualité des phrases produites est fortement aléatoire. Un autre inconvénient majeur de ces approches est la nécessité de disposer d'un corpus parallèle de taille suffisante. Pour chaque nouveau domaine abordé, un nouveau corpus doit être créé.
Si ces approches sont souvent efficaces et robustes, la qualité des phrases produites est fortement aléatoire. Un autre inconvénient majeur de ces approches est la nécessité de disposer d'un corpus parallèle de taille suffisante. Pour chaque nouveau domaine abordé, un nouveau corpus doit être créé.
Plus récemment, des approches statistiques ou hybrides symboliques/statistiques ont été proposées qui combinent patrons linguistiques et informations ou modèles statistiques pour générer du texte.
Plus récemment, des approches statistiques ou hybrides symboliques/statistiques ont été proposées qui combinent patrons linguistiques et informations ou modèles statistiques pour générer du texte.
-
(Cimiano et a. 2013)<ref>Cimiano, Philipp et al. "Exploiting ontology lexica for generating natural language texts from RDF data." (2013).
+
(Cimiano et a. 2013)[(Cimiano, Philipp et al. "Exploiting ontology lexica for generating natural language texts from RDF data." (2013).)] apprend la probabilité des structures syntaxiques d'un corpus spécifique au domaine considéré puis utilise ces probabilités pour sélectionner, pendant la génération, l'arbre syntaxique qui maximise un score prenant en compte la probabilité normalisée des arbres syntaxiques, les catégories syntaxiques, les synonymes et le sens lexical des mots étiquettant l'abre et le score données pour chaque alternative par un modèle de langage.
-
</ref> apprend la probabilité des structures syntaxiques d'un corpus spécifique au domaine considéré puis utilise ces probabilités pour sélectionner, pendant la génération, l'arbre syntaxique qui maximise un score prenant en compte la probabilité normalisée des arbres syntaxiques, les catégories syntaxiques, les synonymes et le sens lexical des mots étiquettant l'abre et le score données pour chaque alternative par un modèle de langage.
+
(Kondadadi et al. 2013)[(Kondadadi, Ravi, Blake Howald, and Frank Schilder. "A Statistical NLG Framework for Aggregated Planning and Realization." ACL (1) 6 Aug. 2013: 1406-1415.
-
(Kondadadi et al. 2013)<ref>Kondadadi, Ravi, Blake Howald, and Frank Schilder. "A Statistical NLG Framework for Aggregated Planning and Realization." ACL (1) 6 Aug. 2013: 1406-1415.
+
)] présentent une approche statistique dans laquelle des patrons de phrases appris automatiquement à partir de corpus textuels sont ordonnés pour chaque position dans le texte par un modèle de Machine à vecteurs de support (SVM).
-
</ref> présentent une approche statistique dans laquelle des patrons de phrases appris automatiquement à partir de corpus textuels sont ordonnés pour chaque position dans le texte par un modèle de Machine à vecteurs de support (SVM).
+
Enfin (Perez-Beltrachini et al. 2013)[(beltrachini>Laura Perez-Beltrachini, Claire Gardent and Enrico Franconi. //Incremental Query Generation//. EACL 2014,. Gothenburg, Sweden, April 2014.)] présentent une méthode hybride pour la verbalisation de requêtes sur des bases de connaissances combinant un lexique construit automatiquement à partir des noms des relations et concepts de la base de connaissances, une grammaire spécifiées manuellement et un algorithme de recherche en faisceau. Un avantage majeur, commun à ces approches, est qu'elles minimisent le besoin pour des spécifications manuelles (construction de corpus parallèles, lexiques, grammaires) tout en préservant la possibilité de générer des textes variés et de bonne qualité (pas de langage controlé).
-
Enfin (Perez-Beltrachini et al. 2013)<ref name="beltrachini">Laura Perez-Beltrachini, Claire Gardent and Enrico Franconi. //Incremental Query Generation//. EACL 2014,. Gothenburg, Sweden, April 2014.
+
-
</ref> présentent une méthode hybride pour la verbalisation de requêtes sur des bases de connaissances combinant un lexique construit automatiquement à partir des noms des relations et concepts de la base de connaissances, une grammaire spécifiées manuellement et un algorithme de recherche en faisceau. Un avantage majeur, commun à ces approches, est qu'elles minimisent le besoin pour des spécifications manuelles (construction de corpus parallèles, lexiques, grammaires) tout en préservant la possibilité de générer des textes variés et de bonne qualité (pas de langage controlé).
+
-
Pour générer les descriptions d'itinéraires produites par Golem et FRED, nous nous appuierons sur un système hybride symbolique/statistique développé au LORIA par l'équipe SYNALP. Issu du modèle Quelo-RTGen présenté par (Perez-Beltrachini et al. 2013) <ref name="beltrachini">Laura Perez-Beltrachini, Claire Gardent and Enrico Franconi. //Incremental Query Generation//. EACL 2014, Gothenburg, Sweden, April 2014.</ref>, ce modèle combine:
+
Pour générer les descriptions d'itinéraires produites par Golem et FRED, nous nous appuierons sur un système hybride symbolique/statistique développé au LORIA par l'équipe SYNALP. Issu du modèle Quelo-RTGen présenté par (Perez-Beltrachini et al. 2013) [(beltrachini>Laura Perez-Beltrachini, Claire Gardent and Enrico Franconi. //Incremental Query Generation//. EACL 2014, Gothenburg, Sweden, April 2014.)], ce modèle combine:
- un générateur de lexique qui permet de construire un lexique automatiquement à partir des noms des relations et concepts de la base de connaissances considérés
- un générateur de lexique qui permet de construire un lexique automatiquement à partir des noms des relations et concepts de la base de connaissances considérés
Ligne 117:
Ligne 115:
===== Budget =====
===== Budget =====
-
{|border="1"
+
-
|<center>**Concept**</center>
+
^ **Concept** ^ **Durée** ^ **Montant** ^
-
|**Durée**
+
| Mission d'Aldo Gangemi (LIPN) à Mexico (IIMAS) | 5 jours | €2000 |
-
|**Montant**
+
| Mission de Luis Pineda (IIMAS) à Villetaneuse (LIPN) | 5 jours | €2000 |
-
|-
+
| Mission de Claire Gardent à l'IIMAS (Mexico) | 5 jours | €2000 |
-
|Mission d'Aldo Gangemi (LIPN) à Mexico (IIMAS)
+
| Embauche d'un jeune chercheur par l'IIMAS pour le développement de l'interface FRED+Golem en el IIMAS | 720 heures sur 6 mois | €3000 |
-
|5 jours
+
| Embauche d'un jeune chercheur par le CNRS/LORIA pour la génération de récits cohérents à partir des expériences spatiales du robot Golem (CNRS/LORIA complémentera ce budget à hauteur de 3000 euros pour permettre une embauche sur 6 mois) | 360 heures sur 3 mois | €3000 |
-
|€2000
+
| | |**€12000** |
-
|-
+
-
|Mission de Luis Pineda (IIMAS) à Villetaneuse (LIPN)
+
-
|5 jours
+
-
|€2000
+
-
|-
+
-
|Mission de Claire Gardent à l'IIMAS (Mexico)
+
-
|5 jours
+
-
|€2000
+
-
|-
+
-
|Embauche d'un jeune chercheur par l'IIMAS pour le développement de l'interface FRED+Golem en el IIMAS
+
-
|720 heures sur 6 mois
+
-
|€3000
+
-
|-
+
-
|Embauche d'un jeune chercheur par le CNRS/LORIA pour la génération de récits cohérents à partir des expériences spatiales du robot Golem (CNRS/LORIA complémentera ce budget à hauteur de 3000 euros pour permettre une embauche sur 6 mois)
+
-
|360 heures sur 3 mois
+
-
|€3000
+
-
|-
+
-
|
+
-
|
+
-
|**€12000**
+
-
|-
+
-
|}
+
===== Échéancier de dépenses =====
===== Échéancier de dépenses =====
===== Programme scientifique =====
===== Programme scientifique =====
-
==== [[Golfred Phase 1: First in vitro path|Étape 1: premier parcours //in vitro//]] ====
==== Étape 2: [[Golfred Phase 2: Knowledge extraction with FRED and Golem //in vivo// path|Extraction de connaissances sémantiques (//machine reading//) avec FRED et optimisation du parcours //in vitro//]] ====
+
==== Étape 2: Extraction de connaissances sémantiques ("machine reading") avec FRED et optimisation du parcours "in vitro" ====
==== Étape 4: Production d'un parcours //in vivo// ====
+
==== Étape 4: Production d'un parcours "in vivo" ====
* Début: //Août 2016//
* Début: //Août 2016//
* Durée: 2 mois
* Durée: 2 mois
Ligne 225:
Ligne 204:
* Durée: 1m
* Durée: 1m
* Responsable: IIMAS, CNRS/LORIA, LIPN
* Responsable: IIMAS, CNRS/LORIA, LIPN
-
=== 2: Démo publique dans le musée scientifique universitaire **Universum** ===
+
=== 2: Démo publique dans le musée scientifique universitaire Universum ===
* Durée: 1m
* Durée: 1m
* Responsables: IIMAS, LIPN
* Responsables: IIMAS, LIPN
Ligne 246:
Ligne 225:
===== Perspectives =====
===== Perspectives =====
-
Du point de vue de la robotique, ce projet permettrait d'explorer les liens entre la base de connaissances de Golem<ref>Luis A. Pineda, Lisset Salinas, Ivan V. Meza, Caleb Rascon and Gibran Fuentes. SitLog: A Programming Language for Service Robot Tasks. Int J Adv Robot Syst, 2013</ref> en Prolog et des extensions dynamiques possibles envers le web sémantique et le format RDF. L'idée de que devant des situations imprévues le robot puisse s’appuyer sur le web sémantique pourrait donner lieu des nouvelles méthodes pour structurer des comportements dynamiques dans les modèles cognitifs en robotique. De plus, ce projet permettrait également de préparer le terrain pour une prise en compte du multilinguisme à moyen terme, et en particulier pour la lecture et production de récits en langue française.
+
Du point de vue de la robotique, ce projet permettrait d'explorer les liens entre la base de connaissances de Golem[(Luis A. Pineda, Lisset Salinas, Ivan V. Meza, Caleb Rascon and Gibran Fuentes. SitLog: A Programming Language for Service Robot Tasks. Int J Adv Robot Syst, 2013)] en Prolog et des extensions dynamiques possibles envers le web sémantique et le format RDF. L'idée de que devant des situations imprévues le robot puisse s’appuyer sur le web sémantique pourrait donner lieu des nouvelles méthodes pour structurer des comportements dynamiques dans les modèles cognitifs en robotique. De plus, ce projet permettrait également de préparer le terrain pour une prise en compte du multilinguisme à moyen terme, et en particulier pour la lecture et production de récits en langue française.
-
Le multilinguisme viendrait également enrichir FRED<ref name="fred"></ref>, l'outil d'extraction de connaissances pour le web sémantique, qui actuellement n'a été testée qu'en langue anglaise. Bien que dans ce projet la seule langue traité sera l'anglais, le financement de notre projet par l'AUF renforcerait la perspective de production de récits en français et en espagnol à moyen terme. Par ailleurs, le fait d'embarquer FRED dans des dispositifs sans connectivité internet pourrait donner lieu à une nouvelle famille d'applications embarquées issues du web sémantique.
+
Le multilinguisme viendrait également enrichir FRED[(fred)], l'outil d'extraction de connaissances pour le web sémantique, qui actuellement n'a été testée qu'en langue anglaise. Bien que dans ce projet la seule langue traité sera l'anglais, le financement de notre projet par l'AUF renforcerait la perspective de production de récits en français et en espagnol à moyen terme. Par ailleurs, le fait d'embarquer FRED dans des dispositifs sans connectivité internet pourrait donner lieu à une nouvelle famille d'applications embarquées issues du web sémantique.
-
Du point de vue de la génération de texte, ce projet permet de mettre en place une architecture pour la génération de textes à partir de données RDF. Comme l'indique <ref>A. Rector, N. Drummond, M. Horridge, J. Rogers, H. Knublauch, R. Stevens, H. Wang, and C. Wroe. Owl pizzas: Practical experience of teaching owl-dl: Common errors & common patterns. Engineering Knowledge
+
Du point de vue de la génération de texte, ce projet permet de mettre en place une architecture pour la génération de textes à partir de données RDF. Comme l'indique [(A. Rector, N. Drummond, M. Horridge, J. Rogers, H. Knublauch, R. Stevens, H. Wang, and C. Wroe. Owl pizzas: Practical experience of teaching owl-dl: Common errors & common patterns. Engineering Knowledge
-
in the Age of the Semantic Web, pages 63–81, 2004.</ref>, pour les être humains, les standards (e.g., RDF, OWL) établis par la communauté du web sémantique pour représenter les données et les ontologies sont difficiles à comprendre et à manipuler. Avec le développement du web sémantique, la croissance rapide des données liées (linked data), la prolifération des bases de connaissances et plus généralement, avec l'émergence des données massives, il y a un besoin accru de développer des technologies qui permettent aux être humains un accès simple et naturel aux données orientées machine du web des données. Parce qu'il permet de convertir les données en texte, le système de génération développé dans le cadre de ce projet PIRAT, procure un moyen naturel de présenter ces données de façon intuitive, structurée et cohérente. Plus généralement, de tels systèmes permettent d'expliciter le contenu de données liées ou de bases de connaissances à des utilisateurs non expert; de générer des explications, des descriptions et des résumés à partir de DBPedia ou d'autres bases de connaissances; de guider l'utilisateur dans la formulation de requêtes sur des bases de connaissances; et de présenter l'information contenue dans les données liées publiées par les institutions pour l'héritage culturel telles que les musées et les bibliothèques (cf les exemples listés [[http://museum-api.pbworks.com|ici]]), sous différentes formes (par exemple, pour un utilisateur expert ou novice) et dans différentes langues. De fait, la génération est de plus en plus vue comme "changeant les règles du jeu" (game changing) et de nouvelles compagnies ont récemment émergé qui vise à "faire communiquer les données massives directement, pas en nombres ou en tables qui exigent analyse et explication, mais dans des textes narratifs riches dont on pourrait penser qu'ils ont été produits par un expert humain" (e.g., [[https://www.arria.com/arria-nlg-overview-A130.php|ARIA]]).
+
in the Age of the Semantic Web, pages 63–81, 2004.)], pour les être humains, les standards (e.g., RDF, OWL) établis par la communauté du web sémantique pour représenter les données et les ontologies sont difficiles à comprendre et à manipuler. Avec le développement du web sémantique, la croissance rapide des données liées (linked data), la prolifération des bases de connaissances et plus généralement, avec l'émergence des données massives, il y a un besoin accru de développer des technologies qui permettent aux être humains un accès simple et naturel aux données orientées machine du web des données. Parce qu'il permet de convertir les données en texte, le système de génération développé dans le cadre de ce projet PIRAT, procure un moyen naturel de présenter ces données de façon intuitive, structurée et cohérente. Plus généralement, de tels systèmes permettent d'expliciter le contenu de données liées ou de bases de connaissances à des utilisateurs non expert; de générer des explications, des descriptions et des résumés à partir de DBPedia ou d'autres bases de connaissances; de guider l'utilisateur dans la formulation de requêtes sur des bases de connaissances; et de présenter l'information contenue dans les données liées publiées par les institutions pour l'héritage culturel telles que les musées et les bibliothèques (cf les exemples listés [[http://museum-api.pbworks.com|ici]]), sous différentes formes (par exemple, pour un utilisateur expert ou novice) et dans différentes langues. De fait, la génération est de plus en plus vue comme "changeant les règles du jeu" (game changing) et de nouvelles compagnies ont récemment émergé qui vise à "faire communiquer les données massives directement, pas en nombres ou en tables qui exigent analyse et explication, mais dans des textes narratifs riches dont on pourrait penser qu'ils ont été produits par un expert humain" (e.g., [[https://www.arria.com/arria-nlg-overview-A130.php|ARIA]]).
===== Références =====
===== Références =====
-
<references/>
+
+
~~REFNOTES~~
===== Liens =====
===== Liens =====
* [[https://docs.google.com/document/d/1exU6hK4g98BA2h4xkQYoWTeB8LoyAHSCWbbdnTbCEB8/edit?usp=sharing|Document scientifique envoyé à l'AUF]]
* [[https://docs.google.com/document/d/1exU6hK4g98BA2h4xkQYoWTeB8LoyAHSCWbbdnTbCEB8/edit?usp=sharing|Document scientifique envoyé à l'AUF]]
-
* [[Generación|de relatos de experiencias espaciales en robots de servicio por extracción de conocimiento a partir de textos]]
+
* [[equipes:rcln:ancien_wiki:projets:golfred:es]]
-
* [[Machine|reading for narrative generation of spatial experiences in service robots]]