Oops, I Sampled it Again: Reinterpreting Confidence Intervals in Few-Shot Learning - Archive ouverte HAL
Article Dans Une Revue Transactions on Machine Learning Research Journal Année : 2024

Oops, I Sampled it Again: Reinterpreting Confidence Intervals in Few-Shot Learning

Oups, j'ai échantillonné avec remise : Réinterprétation des intervalles de confiance dans l'apprentissage parcimonieux

Résumé

The predominant method for computing confidence intervals (CI) in few-shot learning (FSL) is based on sampling the tasks with replacement, i.e. allowing the same samples to appear in multiple tasks. This makes the CI misleading in that it takes into account the randomness of the sampler but not the data itself. To quantify the extent of this problem, we conduct a comparative analysis between CIs computed with and without replacement. These reveal a notable underestimation by the predominant method. This observation calls for a reevaluation of how we interpret confidence intervals and the resulting conclusions in FSL comparative studies. Our research demonstrates that the use of paired tests can partially address this issue. Additionally, we explore methods to further reduce the (size of the) CI by strategically sampling tasks of a specific size. We also introduce a new optimized benchmark, which can be accessed at https://github.com/RafLaf/FSL-benchmark-again.
La méthode prédominante pour calculer les intervalles de confiance (IC) dans l'apprentissage parcimonieux (FSL) repose sur l'échantillonnage des tâches avec remise, c'est-à-dire en permettant aux mêmes échantillons d'apparaître dans plusieurs tâches. Cela rend les IC trompeurs, car ils prennent en compte l'aléatoire de l'échantillonnage des tâches mais pas celui des données elles-mêmes. Pour quantifier l'ampleur de ce problème, nous menons une analyse comparative entre des IC calculés avec et sans remise. Celle-ci révèle une sous-estimation notable par la méthode prédominante. Cette observation appelle à une réévaluation de notre interprétation des intervalles de confiance et des conclusions qui en découlent dans les études comparatives en FSL. Nos recherches montrent que l'utilisation de tests appariés peut en partie résoudre ce problème. De plus, nous explorons des méthodes pour réduire davantage la taille des IC en dimensionnant stratégiquement les tâches. Nous introduisons également un nouveau benchmark optimisé, accessible à l'adresse https://github.com/RafLaf/FSL-benchmark-again.
Fichier sous embargo
Fichier sous embargo
0 5 14
Année Mois Jours
Avant la publication
lundi 31 mars 2025
Fichier sous embargo
lundi 31 mars 2025
Connectez-vous pour demander l'accès au fichier

Dates et versions

hal-04702128 , version 1 (14-10-2024)

Licence

Identifiants

Citer

Raphael Lafargue, Luke Anthony Smith, Franck Vermet, Mathias Löwe, Ian Reid, et al.. Oops, I Sampled it Again: Reinterpreting Confidence Intervals in Few-Shot Learning. Transactions on Machine Learning Research Journal, 2024, https://openreview.net/forum?id=JxxkKt9yrx. ⟨hal-04702128⟩
0 Consultations
1 Téléchargements

Altmetric

Partager

More