Combinaison optimale de classifieurs binaires : solution logique sans algorithme et minimisation de risques convexifiés
Résumé
A classical idea in supervised learning is to compute a strong classifier by combining weak classifiers, ADABOOST is an implementation of this. We study this problem in the particular case of three classifiers and two classes by introducing an original representation of the cost based on a truth table. This approach allows to directly identify the resulting classifier (and to compute its performance) without the need to to execute a numerical algorithm. On the other side, since usually convex substitutes are widely used, some have been compared with this approach, and the robustness between the resulting classifiers and the stability of these results are explored.
Une idée classique en apprentissage supervisé consiste à calculer un classifieur fort en combinant des classifieurs faibles, ADABOOST en est une implémentation. Nous étudions ce problème dans le cas particulier de trois classifieurs et de deux classes en introduisant une représentation originale du coût basée sur une table de vérité. Cette approche permet d’identifier directement le classifieur résultant (et de calculer sa performance) sans avoir besoin d’exécuter un algorithme numérique. D’autre part, les substituts convexes étant très largement utilisés, quelques uns ont été comparés avec cette approche, et les différences entre les classifieurs résultants, la robustesse de ces résultats ainsi que ceux de la méthode logique sont explorés.