Golfred: réunion à Mexico (mai 2016)

On passe en revue au programme de la semaine

On montre l'article soumis à IJCAI 2016: résumé de l'expé

On parle de la génération de trajectoires: est-il possible de générer les trajectoires automatiquement? (Claire)

Ivan montre l'application de gestion de trajectoires in vitro

On parle des descriptions des images rendus par Microsoft Cognitive Services, des indices de confiance utilisé, des attributs inclus dans le texte

Claire propose d'utiliser le service de description de facebook, et Aldo celui de l'artiste plastique qui balade son réseaux de neurones pour décrire la vidéo d'une ballade

Luis décrit le modèle de situation, expectatives et actions qui enregistre le comportement du robot. La situation est stable jusqu'à un changement des expectatives.

Luis propose d'utiliser Recursive Transition Network du modèle de situations de Golem pour structurer le discours produit par Golfred.

On ne sait pas jusqu'à quel point l'usage de ce modèle de situations pourrait affecter le texte qu'on a généré.

Actuellement on génére à partir des espace visités par le robot, mais le modèle de tâches du robot et la structure même de la tâche serait autant de sources possibles pour la génération.

Luis dit qu'à sa connaissance il n'y a pas de robots capable de faire un résumé de son expérience après une tâche: ça serait un beau comportement à montrer dans la Robocut en 2017.

Luis montre aussi la bibliothèque de comportements du robot qui pourrait aussi être utilisé pour générer du texte.

Aldo proposes to use an entity linker like Tag Me or Wikipedia Miner to link for instance Random Forest to its Wikipedia definition.

On discute si on a besoin des graphes de FRED pour cette tâche… où juste d'un entity linker.

Claire montre sa méthode de généreation

Geni prend flat semantics first order logic expressions comme entrée

Geni produit une grande quantité d'arbre syntaxique à partir de ses grammaires, mais seulement quelques uns de ces arbres sont bien formés par rapport à l'expression sémantique en logique de première ordre. Une fois les arbres choisis, Geni génère la phrase.

On est d'accord sur le fait que le modèle de situations du robot peut produire les entrées de Geni pour générer le récit d'expérience. Par contre, on se demande si FRED pourrait être utilisé dans des contextes où le robot est devant un poster où un affiche informationnellement riche qu'il doit expliquer (et non résumer).

Luis et Aldo discutent sur la non contradiction des graphes de FRED.