Lundi 18 Mars

Heure:	12:15 - 13:00
Lieu:	Salle B107, bâtiment B, Université de Villetaneuse
Résumé:	MAFALDA : Une étude comparative et complète de la détection et de la classification des sophismes
Description:	Pierre Henri Paris Nous présentons MAFALDA, un benchmark pour la classification des sophismes qui fusionne et unifie les ensembles de données antérieurs sur les sophismes. Il s'accompagne d'une taxonomie qui aligne, affine et unifie les classifications existantes des sophismes. Nous fournissons également une annotation manuelle d'une partie des données ainsi que des explications manuelles pour chaque annotation. Nous proposons un nouveau schéma d'annotation adapté aux tâches subjectives en NLP, ainsi qu'une nouvelle méthode d'évaluation conçue pour gérer la subjectivité. Nous évaluons ensuite plusieurs modèles de langage dans un contexte d'apprentissage zero-shot et les performances humaines sur MAFALDA afin d'évaluer leur capacité à détecter et à classer les sophismes.