Parcimonie et corrélation pour la sélection de noyaux

Overview & Synopsis

Dès l’apparition des méthodes à noyaux, la combinaison de plusieurs noyaux a été l’objet d’expérimentations. En effet, la performance de ce type de méthode est directement liée à la spécification de noyaux appropriés. Dans ce contexte, l’apprentissage de noyaux multiples (MKL) a attiré une attention significative de la part des chercheurs. Dans la littérature le MKL est souvent résolu par un problème de minimisation de poids de noyau. Cependant dans ce problème d’optimisation, la totalité des noyaux est souvent utilisée ce qui entraîne des lourds calculs. Une autre limite de ces méthodes est rencontrée dans le cas où le nombre total des noyaux est élevé, mais seulement un nombre relativement petit de ces noyaux est nécessaire pour représenter la fonction objective. Il s’agit d’un problème parcimonieux. Dans ce papier nous avons cherché à améliorer l’efficacité du MKL en utilisant moins de noyaux, nous avons donc cherché un compromis entre la performance, la parcimonie et la rapidité du processus d’optimisation. Nous étendons une version récente du MKL qui présente un problème de classification binaire avec une contrainte supplémentaire. Cette contrainte permet d’assurer que le noyau appris soit positive semi défini. Nous avons reformulé ce problème d’optimisation en compensant le risque empirique qu’on cherche à minimiser par un terme régularisant basé sur la parcimonie. Notre méthode a montré ces performances car nous avons obtenu des résultats très proches de la littérature en utilisant moins de fonctions noyaux. Les résultats expérimentaux réalisés sur plusieurs bases de données ont montré la performance promise de la technique proposée comparée à d’autre méthodes compétitives.