Ce travail étudie la convergence globale et le biais implicite de la méthode de Gauss-Newton (GN) lors de l'optimisation de réseaux sur-paramétrés à une couche cachée dans un régime de champ moyen. Nous établissons d'abord un résultat de convergence globale pour GN dans la limite du temps continu, qui présente un taux de convergence plus rapide que la la descente de gradient (GD) en raison d'un meilleur pré-conditionnement. Nous réalisons ensuite une étude empirique sur une tâche de régression afin d'étudier le biais implicite de la méthode GN. D'une part, GN est systématiquement plus rapide que GD pour trouver un optimum global, et d'autre part, le modèle appris généralise bien sur les données de test, lorsque l'on part de poids initiaux tirés aléatoirement avec une petite variance et on utilise un petit pas de gradient pour ralentir la convergence. Plus précisément, notre étude montre qu'une telle configuration entraîne un phénomène d'apprentissage caché, où les features cachées ont de bonnes propriétés de généralisation malgré des performances sous-optimales sur les ensembles d'apprentissage et de test, en raison d'une couche linéaire sous-optimisée. Cette étude montre l'existence d'un compromis entre la vitesse de convergence de GN et la capacité de généralisation de la solution apprise.