L'apprentissage automatique a l'aide de r eseaux profonds est un probl eme di cile : la complexit e du r eseau et la m ethode de descente de gradient utilisée pour mettre a jour les poids du r eseau peuvent tous deux mener a des ph enom enes de sur-apprentissage et des mauvais optima locaux pour ces poids. Pour aborder ce probl eme dans un contexte de classi cation de sc enes (o u le but est de classer tous les pixels d'une image), nous cherchons a contraindre certaines couches du r eseau en utilisant une partie de l'information s emantique contextuelle disponible pendant la phase d'apprentissage. Nous voulons : 1) contraindre la capacit e du r eseau (son nombre de param etres) tout en autorisant l'apprentissage de fonctions complexes et 2) obtenir des couches avec une s emantique plus pr ecise permettant d' eviter les mauvais optima. Nous proposons dans un premier temps d'apprendre un r eseau de convolution \faible" qui nous fournirait une premi ere estimation de la classe des etiquettes des pixels qui entourent un pixel donn e. Puis, nous incorporons ce r eseau faible dans un r eseau plus complexe dont les poids ont d ej a et e pr ealablement initialis es en prenant en compte les etiquettes des pixels qui entourent notre pixel d'int erêt. Ce processus, qui complexi e it erativement le r eseau de convolution, a pour but d'augmenter l'interpr etabilit e des couches du réseau en contraignants les "feature maps" a encoder une information contextuelle pr ecise. Nous montrons que cette connaissance contextuelle permet d'obtenir des performances l eg erement meilleure que l' etat de l'art pour les jeux de donn ees les plus connus en etiquetage de sc enes que sont "Stanford" et "Sift Flow". Cette approche est, en outre, g en erique et pourrait être appliqu ee a tous types de r eseaux pour lesquels des informations contextuelles sont disponibles pendant la phase d'apprentissage.