Théorème d'approximation pour les neurones hypersphériques - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Approximation theorem for hyperspheric neurons

Théorème d'approximation pour les neurones hypersphériques

Résumé

This paper establishes an approximation theorem for a hyperspherical single-layer neural network. For this, we depart from the classical proof and use a Schwartz theorem based on a linear combination of translations. This approximation theorem is not universal in the sense that the functions to be approximated, such as activations, must be compactly supported. We also establish the link between a hyperspherical layer network and a network of radial-based functions. Experiments were used to verify the theorem and compare the spherical and dense layer approximations. In addition, these experiments have established experimentally that the compactness conditions on the activation functions are sufficient, but not necessary. This opens the way to a more classical approach to the Universal Approximation Theorem, to lighten the assumptions on the nature of the functions that can be approximated.
Cet article établit un théorème d'approximation pour un réseau de neurones à une couche hypersphérique. Pour cela, nous écartons de la démonstration classique et utilisons un théorème de Schwartz basé sur une combinaison linéaire de translations. Ce théorème d'approximation n'est pas universel dans le sens où les fonctions à approcher comme les activations doivent être à support compact. Également, nous établissons le lien entre un réseau à couche hypersphérique et un réseau à de fonctions à bases radiales. Des expériences ont permis de vérifier le théorème et de comparer les approximations par couche sphérique et par couche dense. Par ailleurs, celles-ci ont également permises d'établir expérimentalement que les conditions de compacité sur les fonctions d'activations sont suffisantes mais non nécessaire. Ceci ouvre la voie à une approche plus classique du théorème d'approximation universelle pour alléger les hypothèses sur la nature des fonctions que l'on peut approximer.
Fichier principal
Vignette du fichier
2023_desaintangel1398.pdf (299.13 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04195820 , version 1 (04-09-2023)

Licence

Domaine public

Identifiants

  • HAL Id : hal-04195820 , version 1

Citer

Julien de Saint Angel, Christophe Saint-Jean. Théorème d'approximation pour les neurones hypersphériques. GRETSI 2023 XXIXème Colloque Francophone de Traitement du Signal et des Images, Aug 2023, Grenoble, France. ⟨hal-04195820⟩

Collections

MIA UNIV-ROCHELLE
16 Consultations
10 Téléchargements

Partager

Gmail Facebook X LinkedIn More