Couches Dense et Conv2d « sphériques » par l'algèbre géométrique conforme - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2021

Couches Dense et Conv2d « sphériques » par l'algèbre géométrique conforme

Résumé

Les couches de type Dense et Conv2d constituent parmi les briques élémentaires les plus populaires des réseaux de neurones actuels. Dans cet article, nous proposons d’en explorer une variante où les hyperplans sont remplacés par des hypersphères. Nous utilisons pour cela le modèle conforme défini par Hestenes et al. [6] où des hypersphères en dimension n peuvent être paramétrées par un vecteur de l’algèbre géométrique conforme Rn+1,1. En ce qui concerne la couche Dense, une approche similaire existe déjà dans Banarer et al. [1]. L’implémentation de ces deux nouveaux types de couche via des opérateurs d’algèbre linéaire/de convolution classiques est explicitée en même temps que les contraintes pour la mise à jour des poids. L’observation d’expérimentations réalisées sur des données synthétiques et des bases d’images conduit à conclure que les variantes « sphériques » des couches Dense et Conv2d améliorent la fonction de coût et convergent plus rapidement avec un nombre identiques de paramètres. Malheureusement, ce type de couches se révèlent parfois plus sensibles à l’initialisation ce qui peut conduire à une certaine instabilité. Quelques pistes pour remédier à ces problèmes sont présentées.
Fichier principal
Vignette du fichier
Neurones_couches_geom_orasis2021.pdf (826.66 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03339630 , version 1 (09-09-2021)

Identifiants

  • HAL Id : hal-03339630 , version 1

Citer

Julien de Saint Angel, Christophe Saint-Jean. Couches Dense et Conv2d « sphériques » par l'algèbre géométrique conforme. ORASIS 2021, Centre National de la Recherche Scientifique [CNRS], Sep 2021, Saint Ferréol, France. ⟨hal-03339630⟩
230 Consultations
201 Téléchargements

Partager

Gmail Facebook X LinkedIn More