Couches Dense et Conv2d « sphériques » par l'algèbre géométrique conforme
Résumé
Les couches de type Dense et Conv2d constituent parmi les briques élémentaires les plus populaires des réseaux de neurones actuels. Dans cet article, nous proposons d’en explorer une variante où les hyperplans sont remplacés par des hypersphères. Nous utilisons pour cela le modèle conforme défini par Hestenes et al. [6] où des hypersphères en dimension n peuvent être paramétrées par un vecteur de l’algèbre géométrique conforme Rn+1,1.
En ce qui concerne la couche Dense, une approche similaire existe déjà dans Banarer et al. [1]. L’implémentation de ces deux nouveaux types de couche via des opérateurs d’algèbre linéaire/de convolution classiques est explicitée en même temps que les contraintes pour la mise à jour des poids. L’observation d’expérimentations réalisées sur des données synthétiques et des bases d’images conduit à conclure que les variantes « sphériques » des couches Dense et Conv2d améliorent la fonction de coût et convergent plus rapidement avec un nombre identiques de paramètres. Malheureusement, ce type de couches se révèlent parfois plus sensibles à l’initialisation ce qui peut conduire à une certaine instabilité. Quelques pistes pour remédier à ces problèmes sont présentées.
Origine : Fichiers produits par l'(les) auteur(s)