Few and Fewer: Learning better from few examples using fewer base classes
Moins et encore moins: Apprendre mieux avec peu d'exemples en utilisant moins de classes génériques.
Résumé
When training data is scarce, it is common to make use of a feature extractor that has been pre-trained on a large "base" dataset, either by fine-tuning its parameters on the "target" dataset or by directly adopting its representation as features for a simple classifier. Fine-tuning is ineffective for few-shot learning, since the target dataset contains only a handful of examples. However, directly adopting the features without fine-tuning relies on the base and target distributions being similar enough that these features achieve separability and generalization. This paper investigates whether better features for the target dataset can be obtained by training on fewer base classes, seeking to identify a more useful base dataset for a given task. We consider cross-domain few-shot image classification in eight different domains from Meta-Dataset and entertain multiple real-world settings (domain-informed, task-informed and uninformed) where progressively less detail is known about the target task. To our knowledge, this is the first demonstration that fine-tuning on a subset of carefully selected base classes can significantly improve few-shot learning. Our contributions are simple and intuitive methods that can be implemented in any few-shot solution. We also give insights into the conditions in which these solutions are likely to provide a boost in accuracy. We release the code to reproduce all experiments from this paper on GitHub. https://github.com/RafLaf/Few-and-Fewer.git
Lorsqu'il y a peu de données d'entraînement disponibles, il est courant d'utiliser un extracteur de caractéristiques pré-entraîné sur un large ensemble de données "générique", soit en ajustant ses paramètres sur l'ensemble de données "cible", soit en adoptant directement ses représentations comme caractéristiques pour un simple classificateur. L'ajustement des paramètres (fine-tuning) est inefficace pour l'apprentissage par faible nombre d'exemples (few-shot learning), puisque l'ensemble de données cible ne contient qu'une poignée d'exemples. Cependant, adopter directement les caractéristiques sans ajustement des paramètres repose sur le fait que les distributions des ensembles de données générique et cible soient suffisamment similaires pour que ces caractéristiques permettent la séparabilité et la généralisation. Cet article explore s'il est possible d'obtenir de meilleures caractéristiques pour l'ensemble de données cible en s'entraînant sur moins de classes génériques, cherchant ainsi à identifier un ensemble de données générique plus utile pour une tâche donnée. Nous considérons la classification d'images en apprentissage par faible nombre d'exemples dans huit domaines différents issus de Meta-Dataset et envisageons plusieurs configurations du monde réel (informées par le domaine, la tâche ou non-informées), où de moins en moins de détails sont connus sur la tâche cible. À notre connaissance, il s'agit de la première démonstration que l'ajustement des paramètres sur un sous-ensemble de classes génériques soigneusement sélectionnées peut considérablement améliorer l'apprentissage par faible nombre d'exemples. Nos contributions incluent des méthodes simples et intuitives pouvant être mises en œuvre dans toute solution d'apprentissage par faible nombre d'exemples. Nous fournissons également des perspectives sur les conditions dans lesquelles ces solutions sont susceptibles d'apporter un gain en précision. Le code pour reproduire toutes les expériences de cet article est disponible sur GitHub : https://github.com/RafLaf/Few-and-Fewer.git
Domaines
Intelligence artificielle [cs.AI]| Origine | Fichiers produits par l'(les) auteur(s) |
|---|