lipn

Laboratoire d'Informatique de Paris Nord

UMR 7030, Université Paris 13, 99 avenue Jean-Baptiste Clément, 93430 Villetaneuse

up13 cnrs

Apprentissage et Action

 

L'équipe a entamé depuis 2007 un nouvel axe de recherche, s'appuyant sur des compétences déjà présentes en apprentissage relationnel et apprentissage par renforcement. Nous avons étudié l'apprentissage par renforcement relationnel qui manipule des langages de concepts restrictions de la logique d'ordre un, plus expressives que les représentations attribut-valeur utilisées usuellement en apprentissage par renforcement. Nous nous plaçons dans le cadre de l'apprentissage par renforcement indirect pour lequel un agent apprend en ligne un modèle du monde dans lequel il évolue et utilise ce modèle pour choisir ses actions et explorer le monde. Dans le cadre de l'ANR JCJC HARRI, nous avons étudié l'apprentissage d'un modèle explicite des actions, dans lequel chaque action est décrite par un ensemble de règles (STRIPS conditionnel).

Résultats :

  • Approche de révision relationnelle en ligne [1] : les exemples sont observés un par un selon les actions effectuées par l'agent, et le modèle est révisé chaque fois qu'il est contredit par un nouvel exemple.
  • Adjonction à l'algorithme précédent d'un mécanisme d'apprentissage actif, qui apporte une amélioration significative du temps de convergence vers un modèle de qualité pour un ensemble de problèmes classiques en planification [2].

Références

  1. Christophe Rodrigues, Pierre Gérard, Céline Rouveirol, and Henry Soldano. « Incremental learning of relational action rules ». In Sorin Draghici, Taghi M. Khoshgoftaar, Vasile Palade, Witold Pedrycz, M. Arif Wani, and Xingquan Zhu, editors, Proceedings of the International Conference on Machine Learning and Applications (ICMLA'10), pages 451-458, Washington, DC, USA, Dec 2010. IEEE Computer Society.
  2. Christophe Rodrigues, Pierre Gérard, Céline Rouveirol, and Henry Soldano. « Active learning of relational action models ». In Stephen Muggleton, Alireza Tamaddoni-Nezhad, and Francesca Lisi, editors, Proceedings of the 21st International Conference on Inductive Logic Programming (ILP 2011), volume 7207 of Lecture Notes in Computer Science, pages 302-316. Springer Berlin / Heidelberg, 2012. (Revised Selected Paper).

pres

w3c-xhtml