L'architecture d'un réseau de neurones convolutif (CNN) est formée par une succession de blocs de traitement, appelés aussi couches, qui permettent d'extraire et d'apprendre des caractéristiques discriminantes sur les images d'entrée. En particulier, les réseaux de neurones convolutifs sont constitués d'une couche dite de pooling. C'est une opération de sous-échantillonnage typiquement appliquée après une couche convolutive. Par ailleurs, les réseaux de neurones convolutifs de second ordre sont caractérisés par un opérateur de pooling qui permet de calculer la matrice de covariance globale. Il a été démontré dans la littérature que ce type d'opération permet de capter des statistiques plus riches, améliorant ainsi la représentation et la capacité de généralisation des CNN. Cependant, cette matrice est calculée uniquement sur les cartes de caractéristiques les plus profondes. Pour bénéficier de différents niveaux d'abstraction, nous proposons d'étendre les modèles existants en utilisant une approche multi-couches. Par ailleurs, pour obtenir de meilleures performances prédictives, une architecture d'ensemble est proposée. Des expérimentations sont menées sur quatre jeux de données afin de valider le potentiel du modèle proposé pour diverses applications