Ces dix dernières années, l'apprentissage de métriques a permis une amélioration des approches d'apprentissage automatique basées sur des fonctions de distance ou de similarité. Dans ce contexte, l'apprentissage de métriques locales s'est montré très efficace de part sa capacité à prendre en compte les non-linéarités des données et de mieux capturer les caractéristiques de l'application considérée. Cependant, il est bien connu que l'apprentissage de métriques locales présente un risque de sur-apprentissage et pose des problèmes lors de la comparaison de deux instances qui sont assignées à des modèles locaux différents. Dans cet article, nous traitons ces problématiques en proposant un nouvel algorithme de combinaison linéaire de modèles locaux (C2LM). À partir d'un partitionnement de l'espace en régions et d'un modèle (fonction de distance/similarité) pour chaque région, C2LM définit une métrique entre deux points comme une combinaison pondérée de modèles locaux. Deux termes de régularisation spatiale assurent une évolution graduelle des vecteurs de poids et une influence plus importante des modèles les plus proches. Notre approche a la particularité d'être définie dans un cadre de régression, de marcher implicitement à différentes échelles et d'être assez générique pour s'appliquer aux similarités et aux distances. Nous fournissons des garanties théoriques dans le cadre de la robustesse algorithmique. Les expériences réalisées sur deux jeux de données montrent que C2LM atteint systématiquement une précision en régression meilleure que l'état de l'art, même avec un nombre de paires d'apprentissage limité.