How to improve expressivity of convex ReLU neural networks?
Résumé
To implement convex functions with neural networks, the standard way is to use Input Convex Neural Networks (ICNNs). This article provides a study of their expressivity, theoretically and experimentally. Leveraging the characterization of convex ReLU networks, we introduce a new regularisation which softly enforces convexity of the learnt function.
Pour implémententer des fonctions convexes avec des réseaux de neurons, l'architecture standard est celle des ICNNs. Cet article présente une étude de leur expressivité, à la fois théorique et expérimentale. En s'appuyant sur la caractérisation des réseaux ReLU convexes, nous proposons une régularisation favorisant la convexité de la fonction apprise.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |