À pas de loup dans la bergerie… La problématique du silence et du bruit dans l’étiquetage automatique du Subjonctif Présent en français parlé

Overview & Synopsis

La linguistique de corpus tire largement profit des avancées de l’informatique dans le traitement des données. Toutefois, pour le linguiste ordinaire le recours aux étiqueteurs morphosyntaxiques comporte toujours une part de mystère et de magie. Si, muni de cet outil, il peut travailler sur des données massives, il ignore cependant comment ont été attribuées les étiquettes, et plus fondamentalement quelles erreurs peuvent avoir surgi durant l’étiquetage. Pourtant, de la qualité de cet étiquetage va dépendre en aval celle des résultats exploités pour les analyses. S’il est relativement aisé de repérer le bruit dans les résultats des requêtes, le silence qui en découle ailleurs est quant à lui beaucoup plus insidieux, difficile à pister, et pour cette raison potentiellement plus dommageable pour les analyses linguistiques. Dans notre étude, sur la base d’un corpus de dix heures de français parlé (surveillé et ordinaire), nous avons comparé l’étiquetage manuel des occurrences du Subjonctif Présent avec l’étiquetage fourni par TreeTagger, TreeTagger-TCOF et Dismo. Nous montrerons que le bruit dans l’étiquetage de l’Indicatif Présent est l’origine principale de l’important taux de silence dans l’étiquetage du Subjonctif Présent, les confusions étant dues – comme le révèle notre examen exhaustif de la conjugaison du Subjonctif Présent parmi les 6 500 verbes du Petit Robert – à des formes orthographiques communes avec l’Indicatif Présent. Pourtant la « précision » des étiqueteurs est souvent présentée comme atteignant des scores autour de 95 % (y compris pour le français parlé). Si les taux de « précision » oscillent ici entre 70 % et 99 %, les taux de « rappel », eux, sont beaucoup plus faibles : de 44 % à 61 %. En définitive, malgré sa dénomination avantageuse, le taux dit de « précision », calculé sur l’ensemble des étiquettes, constitue un indicateur médiocre de la qualité de l’étiquetage quand il s’agit d’une étiquette particulière comme celle du SubjPr.