Variance Reduction for Inverse Trace Estimation via Random Spanning Forests - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Variance Reduction for Inverse Trace Estimation via Random Spanning Forests

Résumé

The trace $\tr(q(\ma{L} + q\ma{I})^{-1})$, where $\ma{L}$ is a symmetric diagonally dominant matrix, is the quantity of interest in some machine learning problems. However, its direct computation is impractical if the matrix size is large. State-of-the-art methods include Hutchinson's estimator combined with iterative solvers, as well as the estimator based on random spanning forests (a random process on graphs). In this work, we show two ways of improving the forest-based estimator via well-known variance reduction techniques, namely control variates and stratified sampling. Implementing these techniques is easy, and provides substantial variance reduction, yielding comparable or better performance relative to state-of-the-art algorithms.
-La trace tr(q(L + qI) −1), où L est une matrice symétrique à dominante diagonale, est une quantité d'intérêt dans certains problèmes d'apprentissage automatique. Son calcul direct est difficile si la taille de la matrice est importante. Les méthodes de pointe comprennent l'estimateur de Hutchinson combiné à des solveurs itératifs, ainsi que l'estimateur basé sur les forêts aléatoires (un processus aléatoire sur les graphes). Dans ce travail, nous révélons deux fac ¸ons d'améliorer l'estimateur basé sur les forêts via des techniques bien connues de réduction de la variance, à savoir les variables de contrôle et l'échantillonnage stratifié. La mise en oeuvre de ces techniques est pratique et permet une réduction substantielle de la variance, donnant souvent des performances comparables à l'état de l'art ou meilleures.
Fichier principal
Vignette du fichier
gretsien.pdf (334.78 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03691004 , version 1 (13-06-2022)
hal-03691004 , version 2 (14-06-2022)
hal-03691004 , version 3 (13-09-2022)
hal-03691004 , version 4 (07-06-2023)

Identifiants

Citer

Yusuf Yigit Pilavci, Pierre-Olivier Amblard, Simon Barthelme, Nicolas Tremblay. Variance Reduction for Inverse Trace Estimation via Random Spanning Forests. GRETSI 2022 - XXVIIIème Colloque Francophone de Traitement du Signal et des Images, Sep 2022, Nancy, France. ⟨hal-03691004v3⟩
58 Consultations
23 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More