Bandits-Manchots Contextuels : Précision Globale Versus Individuelle
Résumé
Dans la littérature, la plupart des travaux sur les bandits manchots sont évalués à l'aide d'une mesure de la préci-sion globale. Concernant les bandit-manchots contextuels, les approches existantes ont pour objectif d'atteindre une personnalisation individuelle. Ainsi, leur précision globale devrait refléter la précision individuelle pour chacun des utilisateurs. Afin de mesurer le niveau de personnalisation atteint par ces approches, nous avons défini une nouvelle évaluation comparant les précisions individuelles des re-commandations faites à chaque utilisateur avec la préci-sion globale. Sur la base de cette comparaison, démontrant des disparités entre la précision individuelle et la moyenne de précision globale, nous proposons Sliding Window Li-nUCB (SW-LinUCB). SW-LinUCB est une combinaison de LinUCB (CMAB) et d'un mécanisme de diversification pénalisant les bras sélectionnés trop fréquemment. Notre approche, inspirée d'applications réelles, comme les sys-tèmes de recommandation, ne nécessite pas uniquement d'atteindre une bonne précision globale mais doit aussi te-nir compte de la précision individuelle. Nous expérimen-tons et discutons nos résultats sur plusieurs jeux de données réelles. Abstract Most works on Multi-Armed Bandits (MAB) focus the evaluations of their methods on a global accuracy performance metric. In the case of Contextual Multi-Armed Bandit (CMAB), the existing algorithms claim to eventually provide full personalization, which might suggest that their global accuracy metric should reflect each user's individual accuracy. In order to verify this, we consider a novel approach of CMAB assessment focused on the evaluation of individual accuracy and compare it to global accuracy. Based on the results of this comparison highlighting some users far from the average global accuracy, we propose Sliding Window LinUCB (SW-LinUCB), a combination of the original LinUCB (CMAB) and a diversification mechanism penalizing arms which are pulled too frequently. It is motivated by the requirements of different real-world applications such as clinical trials or recommender systems, which must converge to a good global accuracy and should equally distribute it among individuals. We experiment and discuss the benefits and losses of the proposed method on several real-world datasets.
Origine | Fichiers produits par l'(les) auteur(s) |
---|
Loading...