Ce travail porte sur l'utilisation des données OpenStreetMap (OSM) pour la segmentation sémantique d'images de télédétection. Suite aux succès récents obtenus grâce aux réseaux de neurones profonds pour la classification de données multispectrales, hyperspectrales, radar et LiDAR, nous nous intéressons à l'intégration de données géographiques, rarement utilisées dans ces procédés d'apprentissage. En particulier, nous présentons deux architectures permettant d'apprendre simultanément à partir de données OSM et d'images aériennes ou satellites, l'une basée sur le raffinement de cartes et l'autre sur la fusion de données hétérogènes. Nos résultats sur le jeu de données ISPRS Potsdam montrent que l'utilisation des données OSM améliore la qualité des cartes obtenues et accélère la convergence des réseaux lors de la phase d'apprentissage.