Generalizability and sample complexity of quadratic shallow neural networks under low-rank learning
Résumé
We investigate the interplay between sample complexity and model complexity in low-rank learning of quadratic shallow neural networks (QSNN), within a novel doubly-correlated teacher-student framework that incorporates parameter correlations to reflect real-world data properties. This framework generalizes existing theories for QSNN by analyzing the impact of sample size on generalization loss for models under low-rank learning or exhibiting inherent bias. We observe a two-regime behavior in the scaling law of generalization ability with respect to sample size and show that parameter correlations in the teacher model significantly enhance the generalization of rank-reduced models. Extensive numerical simulations confirm the results and offer theoretical insights and practical guidance for designing efficient neural network architectures under low-rank learning.
Ce travail examine les relations entre la complexité de l’échantillon et la complexité du modèle dans l’apprentissage à faible rang des réseaux neuronaux quadratiques superficiels (QSNN). Nous proposons un nouveau cadre enseignant-étudiant à double corrélation qui intègre des corrélations entre paramètres pour mieux refléter les propriétés des données réelles. Ce cadre étend les théories existantes sur les QSNN en analysant l’influence de la taille d’échantillon sur l’erreur de généralisation pour des modèles appris à faible rang ou présentants un biais intrinsèque. Nos résultats révèlent un comportement à deux phases dans les lois d’échelle de la capacité de généralisation selon la taille d’échantillon, et démontrent que les corrélations paramétriques du modèle enseignant améliorent considérablement la généralisation des modèles à rang réduit. Des simulations numériques étendues confirment ces résultats et offrent des perspectives théoriques ainsi que des recommandations pratiques pour concevoir des architectures de réseaux neuronaux efficaces dans le contexte de l’apprentissage à faible rang.