Memory-efficient Continual Learning with Neural Collapse Contrastive
Apprentissage continu économe en mémoire avec contraste d'effondrement neuronal
Résumé
Contrastive learning has significantly improved representation quality, enhancing knowledge transfer across tasks in continual learning (CL). However, catastrophic forgetting remains a key challenge, as contrastive based methods primarily focus on "soft relationships" or "softness" between samples, which shift with changing data distributions and lead to representation overlap across tasks. Recently, the newly identified Neural Collapse phenomenon has shown promise in CL by focusing on "hard relationships" or "hardness" between samples and fixed prototypes. However, this approach overlooks "softness", crucial for capturing intra-class variability, and this rigid focus can also pull old class representations toward current ones, increasing forgetting. Building on these insights, we propose Focal Neural Collapse Contrastive (FNC2 ), a novel representation learning loss that effectively balances both soft and hard relationships. Additionally, we introduce the Hardness-Softness Distillation (HSD) loss to progressively preserve the knowledge gained from these relationships across tasks. Our method outperforms state-of-the-art approaches, particularly in minimizing memory reliance. Remarkably, even without the use of memory, our approach rivals rehearsal-based methods, offering a compelling solution for data privacy concerns.
L’apprentissage contrastif a considérablement amélioré la qualité des représentations, facilitant le transfert de connaissances entre les tâches dans l’apprentissage continu (CL). Cependant, l’oubli catastrophique reste un défi majeur, car les méthodes basées sur le contraste se concentrent principalement sur les « relations douces » ou la « douceur » entre les échantillons, qui évoluent avec les changements dans la distribution des données et entraînent un chevauchement des représentations entre les tâches. Récemment, le phénomène nouvellement identifié de l’Effondrement Neuronal (Neural Collapse) a montré un potentiel en CL en se focalisant sur les « relations dures » ou la « dureté » entre les échantillons et les prototypes fixes. Cependant, cette approche néglige la « douceur », essentielle pour capter la variabilité intra-classe, et cette focalisation rigide peut également attirer les représentations des anciennes classes vers celles actuelles, augmentant ainsi l’oubli. En nous appuyant sur ces observations, nous proposons Focal Neural Collapse Contrastive (FNC2), une nouvelle fonction de perte d’apprentissage de représentation qui équilibre efficacement à la fois les relations douces et dures. De plus, nous introduisons la perte Hardness-Softness Distillation (HSD) pour préserver progressivement les connaissances acquises de ces relations à travers les tâches. Notre méthode surpasse les approches de pointe, notamment en minimisant la dépendance à la mémoire. Remarquablement, même sans l’utilisation de mémoire, notre approche rivalise avec les méthodes basées sur la répétition, offrant une solution convaincante aux préoccupations liées à la confidentialité des données.
Domaines
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |