Réunion CONLL 2016 shared Task 25/01/2016

De wikiRcln
Aller à : navigation, rechercher

Task definition

  1. Joseph expose la tâche: analyse du discours superficielle à partir du papier qui la présente
    • La tâche part des connecteurs explicites (before, so) pour reconnaitre les arguments, l'extension de l'influence du connecteur et attribuer une étiquette (Temporal.Asynchronous.Precedence).
  2. On discute sur les exemples de la section 3.1 de l'article.
  3. La tâche implique aussi le repérage de connecteurs implicites (section 3.1, exemple 4,5,6)
  4. On révise les données d'évaluation (section 3.2 de l'article), extraites du Penn Tree Bank.
  5. Les scores ne sont pas très bons pour les meilleurs systèmes (autour de 25%)... "On peut faire mieux", dit Joseph.
  6. On discute sur le niveau d'accord des annotateurs (autour de 75-85%)
  7. On parle de la distribution des relations discursives (Table 3 de l'article). Il y a autant des relations explicites qu'implicites (plus difficiles à repérer, on suppose).
  8. Deux modalités de participation: fermé (à entraîner qu'avec les données de la campagne et des outils non propriétaires) et ouvertes (à entraîner avec n'importe quel jeu des données et des outils non propriétaires), section Evaluation.
  9. L'année dernière tout le monde à participer en modalité fermé
  10. On télécharge le système sur une machine virtuelle et ce sont eux qui effectuent le blind test sur lequel est basé l'évaluation
  11. Ce n'est pas nécessaire de reconnaître les connecteurs implicites.
  12. Les argument doivent nécessairement coïncider avec l'extension du gold standard.

Data

  1. On analyse le format des données d'entraînement (relation.json, parses.json)
  2. Le gold standard est le Penn Treebank modifié

Métriques

On calcule F pour:

  • Reconnaissance des connecteurs explicites
  • Identification de chacun des arguments

Méthodologie

  1. Tous les participants ont adopté l'architecture de Lin et al (2014)
  2. La majorité de participants en 2015 ont utilisé de l'apprentissage automatique. Très peu des approches font appel aux réseaux de neurones.
  3. Les résultats en 2015 sont très bas (F~20-30%)
  4. La détection de connecteurs n'est pas mauvaise: ~90% sur les explicites
  5. On analyse le meilleur système de 2015
  6. L'approche gagnant en 2015 ont fait une cascade de classificateurs
  7. Joseph a deux idées:
    1. Reprendre le système gagnant de l'année dernière en évitant la cascade de classificateurs et la cascade d'erreur
      • Problème: on ne peut pas facilement réutiliser le système gagnant de 2015
      • Quels sont les systèmes qu'on pourrait joindre?
    2. Faire du deep learning
  8. Nadi propose de faire une table de segmentation
  9. Antoine propose de faire deux apprentissage séparés

Deadline

  • 24/04/16

ToDo

  1. Lire les autres approches (se partager les articles)
  2. Faire des statistiques sur les données
  3. Partager les données sur le serveur TAL
  4. Créer une chaîne slack et un Trello
  5. Créer un groupe de mél pour CONLL
  6. Créer un depôt gitlab pour le code source

Prochaine réunion

  • Lundi 1/02/16 à 14h avec un ToDo de lecture:
    1. (Lin et al, 2014) Joseph
    2. Le papier gagnant (Wang & Lan 2015)
    3. Le papier de réseaux de neurones (Ji & Eisenstein): Antoine
    4. Dublin2 2015: Nadi
    5. Prasad et al 2008: François
    6. Trento 2015: Ivan