Packed-Ensembles for Efficient Uncertainty Estimation
Estimation efficace des incertitudes avec Packed-Ensembles
Résumé
Deep Ensembles (DE) are a prominent approach for achieving excellent performance on key metrics such as accuracy, calibration, uncertainty estimation, and out-of-distribution detection. However, hardware limitations of real-world systems constrain to smaller ensembles and lower-capacity networks, significantlydeteriorating their performance and properties. We introduce Packed-Ensembles(PE), a strategy to design and train lightweight structured ensembles by carefully modulating the dimension of their encoding space. We leverage grouped convolu-tions to parallelize the ensemble into a single shared backbone and forward pass to improve training and inference speeds. PE is designed to operate within the memory limits of a standard neural network. Our extensive research indicates that PE accurately preserves the properties of DE, such as diversity, and performs equally well in terms of accuracy, calibration, out-of-distribution detection, and robustness to distribution shift. We make our code available at github.com/ENSTA-U2IS/torch-uncertainty.
Deep Ensembles (DE) est une des approches principales pour obtenir d’excellentes performances sur des tâches de classification et de détection de données hors distribution. En pratique cependant, ces ensembles et leurs membres sont généralement petits, et donc peu performants, car limités par les contraintes matérielles. Nous proposons Packed-Ensembles (PE), une méthode pour définir et entraîner des ensembles plus légers en modulant la dimension des espaces de représentation. Nous utilisons des convolutions groupées pour paralléliser l’ensemble en une unique structure et ainsi améliorer les temps d'entraînement et d’inférence. PE a la capacité de fonctionner avec une empreinte mémoire équivalente à celle d’un réseau de neurones classique. Au travers d’études approfondies, nous montrons que PE préserve les propriétés de DE, telles que la diversité, et atteint des résultats similaires sur toutes les métriques de précision et de quantification d’incertitude. Le code associé au papier est disponible sur \url{https://github.com/ENSTA-U2IS/torch-uncertainty}.
