EvalLLM 2025 : présentation de la deuxième édition de l'atelier Évaluation des LLM et des challenges

Overview & Synopsis

La deuxième édition de l'atelier EvalLLM, organisée par l'AMIAD, poursuit l'objectif d'explorer les méthodes d'évaluation des grands modèles de langue (LLM) génératifs, en particulier pour le français et les domaines spécialisés. L'atelier a réuni chercheurs et industriels autour de communications scientifiques et de deux challenges : un défi d'extraction d'information few-shot dans le domaine de la santé et un défi de fine-tuning de LLM sur des textes du domaine de la défense. Les travaux présentés abordent l'évaluation des LLM sous des angles variés : création de benchmarks, nouvelles métriques, biais culturels, robustesse, et utilisation des LLM comme juges. Les résultats des challenges soulignent à la fois les avancées méthodologiques et les difficultés persistantes dans l'adaptation et l'évaluation de ces modèles en français et en contexte métier.