Normalisation Contextuelle : Une Nouvelle Approche pour la Stabilité et l'Amélioration des Performances des Réseaux de Neurones - Archive ouverte HAL
Article Dans Une Revue (Article De Synthèse) RNTI Année : 2024

Normalisation Contextuelle : Une Nouvelle Approche pour la Stabilité et l'Amélioration des Performances des Réseaux de Neurones

Résumé

L'apprentissage des réseaux de neurones est confronté à des défis majeurs liés au changement de distribution en couches, perturbant ainsi la convergence et les performances des modèles. La Normalisation par lot (BN) a révolutionné ce domaine, mais repose sur l'hypothèse simplifiée d'une seule composante gaussienne par lot. Pour remédier à cela, la Normalisation par Mélange (MN) a adopté une approche basée sur le modèle de mélange gaussien (GMM), mais avec des coûts computationnels importants liés à l'algorithme Espérance-Maximisation (EM) pour déterminer des composantes. Notre solution, la Normalisation Contextuelle (CN), regroupe des observations similaires en "contextes" pour une représentation locale, sans nécessiter d'algorithme de construction de ces contextes. Les paramètres de normalisation sont appris de manière similaire aux poids du modèle, assurant rapidité, convergence et performances supérieures par rapport à BN et MN.
Fichier principal
Vignette du fichier
Contexte_Normalisation___EGC24.pdf (399.51 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04456190 , version 1 (13-02-2024)

Identifiants

  • HAL Id : hal-04456190 , version 1

Citer

Bilal Faye, Hanane Azzag, Mustapha Lebbah, Fangchen Fang. Normalisation Contextuelle : Une Nouvelle Approche pour la Stabilité et l'Amélioration des Performances des Réseaux de Neurones. RNTI, 2024, Extraction et Gestion des Connaissances, RNTI-E-40, pp.83-106. ⟨hal-04456190⟩
126 Consultations
113 Téléchargements

Partager

More