Bregman Deviations of Generic Exponential Families - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Bregman Deviations of Generic Exponential Families

Résumé

We revisit the method of mixture technique, also known as the Laplace method, to study the concentration phenomenon in generic exponential families. Combining the properties of Bregman divergence associated with log-partition function of the family with the method of mixtures for super-martingales, we establish a generic bound controlling the Bregman divergence between the parameter of the family and a finite sample estimate of the parameter. Our bound is time-uniform and makes appear a quantity extending the classical information gain to exponential families, which we call the Bregman information gain. For the practitioner, we instantiate this novel bound to several classical families, e.g., Gaussian, Bernoulli, Exponential, Weibull, Pareto, Poisson and Chi-square yielding explicit forms of the confidence sets and the Bregman information gain. We further numerically compare the resulting confidence bounds to state-of-the-art alternatives for time-uniform concentration and show that this novel method yields competitive results. Finally, we highlight the benefit of our concentration bounds on some illustrative applications.
Fichier principal
Vignette du fichier
Bregman-Deviations-Laplace/main.pdf (4.52 Mo) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bernoulli_c_sensi_50.pdf (396.07 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bernoulli_comparison_20.pdf (381.3 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bernoulli_comparison_50.pdf (450.94 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bernoulli_comparison_80.pdf (373.47 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bernoulli_tuning.pdf (16.86 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_bernoulli_20.pdf (37.91 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_bernoulli_50.pdf (43.64 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_bernoulli_80.pdf (36.19 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_changepoint_delays_gaussian_var_sigmas.pdf (19.86 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_changepoint_gaussian_var_0.pdf (18.77 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_changepoint_gaussian_var_10.pdf (18.66 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_changepoint_gaussian_var_20.pdf (19.36 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_changepoint_gaussian_var_30.pdf (18.46 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_chi2_500.pdf (52.23 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_chi2_comparison_500.pdf (277.63 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_chi2_continuous_prior500.pdf (50.97 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_chi2_discrete_prior500.pdf (18.18 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_exponential_10.pdf (52.25 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_exponential_100.pdf (51.85 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_exponential_comparison_10.pdf (1.33 Mo) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_exponential_comparison_100.pdf (378.7 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_gamma_300.pdf (60.25 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_gamma_comparison_300.pdf (702.55 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_gaussian_0_100.pdf (50.43 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_gaussian_2d_100_100.pdf (11.75 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_gaussian_comparison_0_100.pdf (355.93 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_gaussian_var_100_100.pdf (60.44 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_pareto_50.pdf (59.95 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_poisson_300.pdf (58.41 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/bregman_weibull_300.pdf (60.5 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/chi2_c_sensi_500.pdf (258.61 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/chi2_tuning.pdf (16.32 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/chi2_union_gaussian_2d_100_100.pdf (11.36 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Bernoulli_0.1.pdf (15.52 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Bernoulli_0.22.pdf (17.39 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Bernoulli_0.5740042875059175.pdf (19.22 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Bernoulli_0.6392161252555646.pdf (18.73 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Bernoulli_0.7041127651850722.pdf (18.28 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Exponential_0.08.pdf (19.68 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Exponential_0.32.pdf (22.04 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Exponential_0.348548.pdf (21.53 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Exponential_0.419759.pdf (20.47 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Exponential_0.9423489912708383.pdf (17.67 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Gaussian_0.09982657720327026.pdf (21.75 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Gaussian_0.31851301836715706.pdf (28.17 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Gaussian_0.6210694569201155.pdf (28.47 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_Gaussian_0.7364691813717399.pdf (27.82 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_chisquare_1.pdf (11.67 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_chisquare_2.pdf (11.78 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_chisquare_3.pdf (12.32 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_chisquare_4.pdf (11.98 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_chisquare_5.pdf (12.1 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/confidencebands_chisquare_8.pdf (12.27 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/exponential_c_sensi_100.pdf (231.78 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/exponential_tuning.pdf (16.19 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/gaussian_c_sensi_0_100.pdf (352.48 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/figsLaplace/gaussian_tuning.pdf (16.14 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/main.blg (985 B) Télécharger le fichier
Bregman-Deviations-Laplace/main.log (51.17 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/main.out (3.03 Ko) Télécharger le fichier
Bregman-Deviations-Laplace/main.synctex.gz (555.83 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04161043 , version 1 (13-07-2023)

Identifiants

Citer

Sayak Ray Chowdhury, Patrick Saux, Odalric-Ambrym Maillard, Aditya Gopalan. Bregman Deviations of Generic Exponential Families. Conference On Learning Theory (COLT), Jul 2023, Bangalore, India. ⟨hal-04161043⟩
23 Consultations
150 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More