Au cours des dernières décennies, l'apprentissage automatique a trouvé un nouveau souffle grâce au développement foudroyant de l'apprentissage profond. Discipline construite sur une classe de modèles paramétrés, les réseaux de neurones profonds, le processus d'apprentissage consiste à trouver des paramètres permettant au réseau de minimiser ses erreurs sur une base d'exemples dans le but de généraliser ses prédictions à de nouvelles données. Il s'agit de l'optimisation des réseaux de neurones profonds. Bien qu'ayant conduit à des améliorations notoires dans de nombreux domaines d'applications, comme la reconnaissance d'image, vocale ou de texte, la compréhension des mécanismes mis en jeu lors de l'apprentissage reste très superficielle. Les progrès techniques et pratiques du domaine sont fulgurants alors qu'un cadre théorique unifié peine à voir le jour. L'objectif de cette thèse est d'élaborer différents outils d'analyse pour améliorer notre compréhension de l'optimisation des réseaux de neurones d'une part, et l'améliorer d'autre part.