Garanties de convergence pour la résolution de problèmes inverses linéaires par réseaux de neurones génératifs - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Garanties de convergence pour la résolution de problèmes inverses linéaires par réseaux de neurones génératifs

Résumé

Generative neural networks have become in recent years a prominent approach to solve inverse problems. However, the theoretical understanding of these models is still lacking. In this paper we are interested in the theoretical guarantees of these networks trained through gradient flow. We first show that for loss functions verifying the Kurdyka-Łojasiewicz inequality, training a neural network under some conditions on its jacobian matrix will produce a zero-loss optimal solution. We then provide guarantees for deterministic stable reconstruction of the underlying signal under a restricted injectivity condition of the forward operator. For two-layer neural networks with a smooth activation function, we provide overparametrization bounds under which the deterministic reconstruction guarantees hold with high probability
Les réseaux de neurones génératifs sont devenus depuis quelques années un outil majeur pour la résolution de problèmes inverses. Cependant, la compréhension théorique de ces modèles reste assez lacunaire. Dans cet article, nous nous intéressons aux garanties théoriques de ces réseaux entraînés par flot de gradient. Nous démontrons d’abord, que pour n’importe quelle fonction de coût vérifiant l’inégalité de Kurdyka-Łojasiewicz, l’entraînement du réseau sous certaines conditions sur sa jacobienne produira une solution de coût nul. Nous fournissons ensuite des garanties déterministes de reconstruction du signal sous-jacent sous une condition d’injectivité restreinte de l’opérateur de mesure. Pour les réseaux à deux couches, équipés d’une fonction d’activation lisse, nous exhibons les bornes de sur-paramétrisation sous lesquelles les garanties déterministes de reconstruction sont vraies avec une grande probabilité.
Fichier principal
Vignette du fichier
2023_buskulic1159.pdf (223.66 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04502368 , version 1 (13-03-2024)

Identifiants

  • HAL Id : hal-04502368 , version 1

Citer

Nathan Buskulic, Jalal M. Fadili, Yvain Quéau. Garanties de convergence pour la résolution de problèmes inverses linéaires par réseaux de neurones génératifs. Colloque GRETSI, 2023, Nancy, France. ⟨hal-04502368⟩
2 Consultations
1 Téléchargements

Partager

Gmail Facebook X LinkedIn More