Bayesian models for anti-sparse coding and Bayesian non parametric principal component analysis - Archive ouverte HAL Access content directly
Theses Year : 2017

Bayesian models for anti-sparse coding and Bayesian non parametric principal component analysis

Modèles bayésiens pour l’identification de représentations antiparcimonieuses et l’analyse en composantes principales bayésienne non paramétrique

Abstract

Cette thèse étudie deux modèles paramétriques et non paramétriques pour le changement de représentation. L'objectif des deux modèles diffère. Le premier cherche une représentation en plus grande dimension pour gagner en robustesse. Le second projète les données dans un sous-espace pertinent à des fins de modélisation. Une introduction au codage antiparcimonieux est présentée. L'objectif est de répartir uniformément l’information d’un signal sur toutes les composantes de sa représentation en plus grande dimension dans un but de robustesse. La recherche d'un tel code s'exprime comme un problème inverse impliquant une régularisation de type norme infinie. À ce jour, seules les méthodes déterministes nécessitant le réglage de paramètres ont été explorées. Nous proposons une formulation bayésienne du problème impliquant une nouvelle loi de probabilité baptisée démocratique, qui pénalise les fortes amplitudes. Un échantillonneur de Gibbs et deux algorithmes MCMC proximaux sont présentés pour approcher des estimateurs bayésiens. La méthode non supervisée présentée est appelée BAC-1. Des expériences numériques illustrent les performances de l’approche pour la réduction de facteur de crête. À des fins de modélisation, il est nécessaire d'identifier un sous-espace pertinent de dimension réduite. Mais les méthodes probabilistes proposées nécessitent généralement de fixer à l'avance la dimension du sous-espace. Ce travail introduit une version bayésienne non paramétrique de l'analyse en composantes principales nommée BNP-PCA. La méthode couple une loi uniforme sur l'ensemble des bases orthonormales à un a priori non paramétrique de type buffet indien pour favoriser une utilisation parcimonieuse des composantes principales. Tous les paramètres inconnus sont intégrés au sein d'un modèle hiérarchique de sorte qu'aucun réglage n'est nécessaire. L'inférence est réalisée à l'aide des méthodes de MCMC. Une étude de l'estimation de la dimension du sous-espace est menée. Le comportement de la méthode BNP-PCA est étudié à travers plusieurs expériences numériques. Nous montrons la flexibilité de la méthode BNP-PCA sur deux applications.
This thesis proposes Bayesian parametric and nonparametric models for signal representation. The first model infers a higher dimensional representation of a signal for sake of robustness. The second model identifies a lower dimensional representation of a signal for modelisation and model selection. Enforcing the information to be spread uniformly over a higher dimensional representation exhibits relevant properties such as robustness. These so called anti-sparse representations are obtained by solving a linear inverse problem with an infinite-norm penalty. We propose in this thesis a Bayesian formulation of anti-sparse coding involving a new probability distribution, referred to as the democratic prior. A Gibbs and two proximal samplers are proposed to approximate Bayesian estimators. The algorithm is called BAC-1. Simulations on synthetic data illustrate the performances of the two proposed samplers and the results are compared with state-of-the art methods. Principal component analysis is very popular to perform dimension reduction. The selection of the number of significant components is essential but often based on some practical heuristics depending on the application. Few works have proposed a probabilistic approach to infer the number of significant components. We propose a Bayesian nonparametric principal component analysis called BNP-PCA. The proposed model involves an Indian buffet process to promote a parsimonious use of principal components, which is assigned a prior distribution defined on the manifold of orthonormal basis. Inference is done using MCMC methods. The estimators of the latent dimension are theoretically and empirically studied. The relevance of the approach is assessed on two applications.
Fichier principal
Vignette du fichier
manuscript.pdf (5.69 Mo) Télécharger le fichier
Origin Files produced by the author(s)
Loading...

Dates and versions

tel-01730077 , version 1 (12-03-2018)
tel-01730077 , version 2 (03-05-2018)

Identifiers

  • HAL Id : tel-01730077 , version 1

Cite

Clément Elvira. Bayesian models for anti-sparse coding and Bayesian non parametric principal component analysis. Signal and Image processing. Ecole Centrale Lille, 2017. English. ⟨NNT : ⟩. ⟨tel-01730077v1⟩
357 View
375 Download

Share

Gmail Mastodon Facebook X LinkedIn More