Cosparse regularization of physics-driven inverse problems
Régularisation co-parcimonieuse de problèmes inverse guidée par la physique
Résumé
Inverse problems related to physical processes are of great importance in practically every field related to signal processing, such as tomography, acoustics, wireless communications, medical and radar imaging, to name only a few. At the same time, many of these problems are quite challenging due to their ill-posed nature.
On the other hand, signals originating from physical phenomena are often governed by laws expressible through linear Partial Differential Equations (PDE), or equivalently, integral equations and the associated Green’s functions. In addition, these phenomena are usually induced by sparse singularities, appearing as sources or sinks of a vector field. In this thesis we primarily investigate the coupling of such physical laws with a prior assumption on the sparse origin of a physical process. This gives rise to a “dual” regularization concept, formulated either as sparse analysis (cosparse), yielded by a PDE representation, or equivalent sparse synthesis regularization, if the Green’s functions are used instead. We devote a significant part of the thesis to the comparison of these two approaches. We argue that, despite nominal equivalence, their computational properties are very different. Indeed, due to the inherited sparsity of the discretized PDE (embodied in the analysis operator), the analysis approach scales much more favorably than the equivalent problem regularized by the synthesis approach.
Our findings are demonstrated on two applications: acoustic source localization and epileptic source localization in electroencephalography. In both cases, we verify that cosparse approach exhibits superior scalability, even allowing for full (time domain) wavefield extrapolation in three spatial dimensions. Moreover, in the acoustic setting, the analysis-based optimization benefits from the increased amount of observation data, resulting in a speedup in processing time that is orders of magnitude faster than the synthesis approach. Numerical simulations show that the developed methods in both applications are competitive to state-of-the-art localization algorithms in their corresponding areas. Finally, we present two sparse analysis
methods for blind estimation of the speed of sound and acoustic impedance, simultaneously with wavefield extrapolation. This is an important step toward practical implementation, where most physical parameters are unknown beforehand. The versatility of the approach is demonstrated on the “hearing behind walls” scenario, in which the traditional localization methods necessarily fail.
Additionally, by means of a novel algorithmic framework, we challenge the audio declipping problem regularized by sparsity or cosparsity. Our method is highly competitive against state-of-the-art, and, in the cosparse setting, allows for an efficient (even real-time) implementation.
Le résumé suivant propose un survol intuitif du contenu de cette thèse, en langue française.
Un panorama de l’état de l’art, le détail des méthodes proposées et les perspectives futures
ouvertes par notre travail sont disponibles (en anglais) dans le reste du manuscrit.
Introduction Si l’on devait décrire de la manière la plus concise possible le traitement du
signal en tant que discipline, on pourrait probablement dire qu’il s’agit de la discipline s’attachant
à résoudre des problèmes inverses. En effet, pratiquement toutes les tâches de traitement
de signal, aussi naïves fussent-elles, peuvent être formulées comme des problèmes inverses.
Malheureusement, beaucoup de problèmes inverses sont mal posés ; ils sont généralement
abordés par le biais de techniques de régularisation appropriées.
La régularisation aumoyen d’un modèle parcimonieux des données (également appelé modèle
de parcimonie à la synthèse, ou tout simplement parcimonie) est une tendance désormais bien
installée (elle dure depuis plus de vingt ans !) et qui a été appliquée avec succès à de nombreux
cas. Son succès est attribué à une explication intuitive, selon laquelle les signaux de la Nature
admettent des descriptions « simples » – dans le cas de la parcimonie à la synthèse, une
combinaison linéaire de quelques atomes choisis dans un dictionnaire. Plus récemment, une
régularisation alternative (ou complémentaire) a émergé : le modèle de parcimonie à l’analyse
(ou coparcimonie), dans lequel on suppose que le signal peut être rendu parcimonieux par
l’application d’une transformation linéaire bien choisie, désignée sous le nom d’opérateur
d’analyse. Ces deux modèles sont fondamentalement différents, en dehors du cas particulier
où le dictionnaire et l’opérateur sont inverses l’un de l’autre. En règle générale, on ne peut
répondre catégoriquement à la question : « quel est le meilleur modèle ? ». Il est plutôt supposé
que leur utilité dépend principalement du problème particulier que l’on est en train de
considérer. Cependant, les études qui comparent vraiment ces deux modèles, en dehors du
contexte purement théorique, sont extrêmement rares. Dans les travaux que nous présentons,
nous visons à faire la lumière sur cette question, en nous concentrant sur une classe de
problèmes inverses liés aux processus physiques, que nous baptisons problèmes inverses
gouvernés par la Physique.
Prologue : la désaturation audio Avant de plonger dans nos contributions principales, nous
prendrons un détour. Nous explorons le problème inverse de la désaturation des signaux audibles,
régularisé par unmodèle parcimonieux ou coparcimonieux. La saturation d’amplitude,
v
Résumé en français
en anglais clipping, se produit souvent lors d’un enregistrement audio, de sa restitution ou
lors des conversions analogique-numérique. Ce problème commun en traitement de signal
audio existe également dans les domaines du traitement de l’image ou des communications
numériques (par exemple, en OFDM).
L’observation-clef est que la saturation produit des discontinuités, qui se traduisent en une
dispersion de l’énergie dans le plan temps-fréquence. Cette constatation peut être exploitée
pour inverser le processus : construire un estimateur du signal d’origine qui soit cohérent
avec les contraintes liées à la saturation et dont l’énergie soit concentrée en temps-fréquence.
Notre but est de développer un algorithme de désaturation audio, compétitif face à l’état de
l’art, qui puisse intégrer de la même manière une hypothèse de parcimonie à la synthèse ou
à l’analyse, de manière à former un bon indicateur de comparaison des deux modèles. Ce
but est atteint dans le cadre algorithmique que nous avons baptisé SParse Audio DEclipper
(SPADE). Il déploie la régularisation parcimonieuse ou coparcimonieuse par une approche
gloutonne non-convexe, fondée sur les algorithmes de type Alternating DirectionMethod of
Multipliers (ADMM).
Les résultats sont présentés en termes de performances numériques et d’évaluation perceptive,
et incluent une comparaison avec l’état de l’art. Ils nous ont amenés à la conclusion que la
méthode fondée sur la parcimonie à la synthèse est légèrement plus performante en termes
de reconstruction du signal, mais au prix d’un coût computationnel énorme. D’autre part,
la version fondée sur la parcimonie à l’analyse se situe à peine en-dessous en termes de
performance, mais permet une mise en oeuvre extrêmement efficace, permettant même un
traitement en temps-réel.De surcroît, les deux versions de SPADE sont tout-à-fait compétitives
face aux approches de l’état de l’art.
Problèmes inverses gouvernés par la Physique Nous poursuivons nos investigations avec
des problèmes inverses soulevés dans un contexte physique (que nous appelons « gouvernés
par la Physique »), qui sont des problèmes d’une grande importance pratique dans bien des
domaines reliés au traitement du signal. Ils sont fondamentaux dans des applications telles que
la tomographie, l’acoustique, les communications sans fil, le radar, l’imagerie médicale, pour
n’en nommer que quelques unes. Dans le même temps, beaucoup de ces problèmes posent
de grands défis, en raison de leur nature mal-posée. Cependant, les signaux qui émanent
de phénomènes physiques sont souvent gouvernés par des lois connues, qui s’expriment
sous la forme d’équations aux dérivées partielles (EDP). Pourvu que certaines hypothèses sur
l’homogénéité des conditions initiales et aux limites soient vérifiées, ces lois possèdent une
représentation équivalente sous la forme d’équations intégrales, et des fonctions de Green
associées.
De plus, les phénomènes physiques considérés sont souvent induit par des singularités que
l’on pourrait qualifier de parcimonieuses, décrites comme des sources ou des puits dans un
champ vectoriel. Dans cette thèse, nous étudions en premier lieu le couplage entre de telles
lois physiques et une hypothèse initiale de parcimonie des origines du phénomène physique.
Ceci donne naissance à un concept de dualité des régularisations, formulées soit comme un
problème d’analyse coparcimonieuse (menant à la représentation en EDP), soit comme une
vi
Résumé en français
parcimonie à la synthèse équivalente à la précédente (lorsqu’on fait plutôt usage des fonctions
de Green). Nous nommons ce concept cadre (co)parcimonieux gouverné par la Physique
(physics-driven (co)sparse framework) et dédions une part significative de notre travail à la
comparaison entre les approches de synthèse et d’analyse. Nous défendons l’idée qu’en dépit
de leur équivalence formelle, leurs propriétés computationnelles sont très différentes. En effet,
en raison de la parcimonie héritée par la version discrétisée de l’EDP1 (incarnée par l’opérateur
d’analyse), l’approche coparcimonieuse passe bien plus favorablement à l’échelle que le
problème équivalent régularisé par parcimonie à la synthèse. Afin de résoudre les problèmes
d’optimisation convexe découlant de l’une et l’autre des approches de régularisation, nous
développons une version générique et sur-mesure de l’algorithme Simultaneous Direction
Method of Multipliers (SDMM), baptisé Weighted SDMM. Nos constatations sont illustrées
dans le cadre de deux applications : la localisation de sources acoustiques, et la localisation de
sources de crises épileptiques à partir de signaux électro-encéphalographiques.
Application 1 : localisation de sources acoustiques Parmi bien d’autres applications, la
localisation de sources acoustiques (ou sonores) est notamment utilisée pour le débruitage, la
déréverbération, le suivi de sources, le positionnement de robots, ou l’imagerie sismique ou
médicale. Les méthodes traditionnelles de localisation de source sont fondées sur l’estimation
de la différence de temps d’arrivée (en anglais TDOA pour Time Difference Of Arrival) ou sur
des techniques de formation de voies (beamforming). Toutes ces approches, qu’elles soient
plus ou moins performantes en terme de robustesse ou de précision, souffrent invariablement
de la réverbération (c’est-à-dire l’existence de trajets acoustiques multiples) et visent à en
supprimer les effets. Pourtant, dans d’autres domaines tels que les communications sans
fil, les chemins multiples sont régulièrement et efficacement exploités en tant que source
supplémentaire d’information, souvent dans le but d’améliorer le Rapport Signal-sur-Bruit (en
anglais SNR pour Signal-to-Noise Ratio). Inspirés par ces techniques et motivés par le succès
de plusieurs travaux récents dans cette direction, nous proposons une méthode générique de
localisation de sources sonores qui s’appuie sur l’interpolation du champ sonore.
Après avoir rappelé que la propagation du son dans l’air est modélisée par une EDP linéaire
dépendant du temps appelée équation des ondes, nous la discrétisons et l’embarquons dans
un opérateur d’analyse qui s’exprime sous forme matricielle (et qui incorpore également
les conditions initiales et aux bords). Dans ce cadre, la représentation équivalente par les
fonctions de Green est obtenue en formant un dictionnaire de synthèse qui n’est autre que
l’inverse matriciel de l’opérateur d’analyse. En supposant que le nombre de sources est petit
par rapport à l’ensemble de l’espace discrétisé, nous pouvons alors formuler un problème
inverse régularisé d’interpolation du champ sonore, c’est-à-dire un problème d’estimation
du champ de pression acoustique à toutes les coordonnées de l’espace-temps discrétisé.
L’estimateur obtenu est alors seuillé afin de déterminer les positions potentielles des sources
sonores.
Nos simulations indiquent que les deux approches, parcimonieuse comme coparcimonieuse,
atteignent de hautes performances de localisation, et, comme prévu, qu’elles produisent des
1Pourvu que la méthode de discrétisation choisie soit à support local.
vii
Résumé en français
estimées identiques (à la précision numérique près). Cependant, la seconde démontre une
meilleure capacité de passage à l’échelle (O(st) vs O(mst2), où m, s et t désignent respectivement
le nombre de microphones, de points dans l’espace et d’échantillons temporels), au
point qu’elle permet même une interpolation complète du champ de pression dans le temps
et en trois dimensions. De plus, l’optimisation fondée sur lemodèle d’analyse bénéficie d’une
augmentation du nombre de données observées, ce qui débouche sur une accélération du
temps de traitement, qui devient plus rapide que l’approche de synthèse dans des proportions
atteignant plusieurs ordres de grandeur. Enfin, l’approche proposée est compétitive face à la
version stochastique de l’algorithme SRP-PHAT, qui constitue actuellement l’état de l’art dans
la tâche de localisation de source.
Scénarios avancés de localisation coparcimonieuse de sources sonores L’approche précédemment
introduite repose lourdement sur la connaissance explicite de la géométrie spatiale
de la pièce, de la paramétrisation des conditions aux limites, et du milieu de propagation.
Afin de relâcher ces hypothèses incommodes, nous proposons deux algorithmes réalisant
l’estimation simultanée du champ de pression acoustique et de certains de ces paramètres
physiques.
En premier lieu, nous considérons le cas d’une vitesse du son inconnue, ce qui est pertinent
d’un point de vue pratique, en raison par exemple de l’existence d’un gradient de température
dans la pièce. Nous introduisons l’hypothèse raisonnable que la vitesse du son est constante
dans le temps et fonction assez régulière de l’espace. Concrètement, nous considérons qu’elle
peut être approchée par un polynôme discrétisé d’ordre r, ce qui réduit drastiquement le
nombre de degrés de liberté pour ce paramètre (O(rd) vs O(st), où d est le nombre de dimensions).
Le problème de l’estimation simultanée de la vitesse du son et du champ de pression
sonore est biconvexe, et nous lui appliquons une heuristique de type ADMM non-convexe
pour en approcher la solution. Cette méthode est baptisée Blind Localization and Sound
Speed estimation (BLESS). Les résultats préliminaires indiquent qu’une estimation presque
parfaite est possible lorsque r Æ 1 ou r Æ 2, au prix d’une augmentation modérée du nombre
de microphones (par rapport aux cas où la vitesse de propagation du son est parfaitement
connue au préalable).
Dans un second scénario, nous étudions la possibilité d’estimer simultanément le champ
de pression acoustique et le coefficient d’impédance acoustique spécifique, qui paramétrise
les bords du domaine. C’est également un problème qui a des implications pratiques importantes,
car il est généralement très difficile de deviner précisément et à l’avance la valeur de ce
paramètre physique. Pour contourner le caractèremal-posé de ce problème, nous supposons
que l’impédance est constante par morceaux, ce qui est justifié physiquement par le fait que
les bords sont habituellement constitués de structures macroscopiquement homogènes, telles
que des murs, des portes ou des fenêtres. L’hypothèse nous suggère qu’une régularisation
de type variation totale peut être utilisée pour promouvoir des solutions de cette nature. À
nouveau, l’estimation simultanée est formulée comme un problème biconvexe et résolue par
une forme non-convexe d’ADMM. Les résultats de simulation sont étonnamment optimistes,
puisque notre méthode, baptisée Cosparse Acoustic Localization, Acoustic Impedance estimaviii
Résumé en français
tion and Signal recovery (CALAIS), atteint des résultats presque identiques aux résultats d’une
localisation coparcimonieuse standard en présence de conditions aux bords parfaitement
connues.
Pour finir, nous démontrons la capacité de la localisation coparcimonieuse à aborder un
problème où les méthodes traditionnelles échoueraient nécessairement. Dans ce scénario,
que nous appelons « entendre derrière les murs », les sources sonores et lesmicrophones sont
séparés par un obstacle acoustiquement opaque qui empêche toute observation du chemin
direct de propagation (mais permet à des réflexions d’atteindre les microphones). Tandis que
l’absence de la contribution du chemin direct à l’observation interdit toute application des
méthodes classiques fondées sur le TDOA, la localisation coparcimonieuse exploite l’information
contenue dans les échos pour réaliser une localisation précise des sources, même lorsque
la « porte » qui permet le passage de ces cheminsmultiples est relativement petite.
Application 2 : localisation de sources dans le cerveau Notre dernière application cible est
l’électro-encéphalographie (EEG), ou plus précisément, la localisation de sources de crises
épileptiques à partir des mesures du potentiel électrique sur le scalp. Le modèle physique sousjacent,
qui lie les potentiels en surface et les sources épileptiques, c’est-à-dire les courants
électriques distincts dans le cerveau, est gouverné par l’équation de Poisson. En sus, les sources
sont modélisées comme des dipôles électriques, ce qui mime l’activité corrélée de groupes
de neurones parallèles. Enfin, il est physiologiquement admis que les sources pertinentes
se situent exclusivement dans la région du cortex, et sont orientées perpendiculairement à
la matière grise. Ces hypothèses facilitent la résolution du problème inverse émergeant du
système de mesures (limité à des électrodes sur la surface de la tête), qui serait autrement très
mal posé.
Malheureusement, ces connaissances et hypothèses préalables restent insuffisantes pour assurer
que le problème inverse de localisation de sources en EEG soit bien posé. Par conséquent,
le problème est généralement abordé par des techniques variées, par exemple statistiques
(fondées sur lesmoments ou les cumulants d’ordre supérieur), ou variationnelles (par exemple
la régularisation de Tikhonov). Plusieurs méthodes récentes supposent que les sources sont
spatialement parcimonieuses, ce qui est également l’approche que nous avons choisie.
La méthode que nous proposons découle tout naturellement de notre cadre de régularisation
(co)parcimonieuse gouvernée par la physique. La discrétisation de l’équation de Poisson
et l’ajout du modèle de sources dipolaires conduit à l’expression de l’opérateur d’analyse.
Le dictionnaire de synthèse correspondant se réduit, à nouveau, à l’inverse matriciel de
l’opérateur d’analyse. Comme dans le cas de l’acoustique, la version c« analyse » passe bien
mieux à l’échelle que la version « synthèse », qui toutes les deux fournissent des performances
compétitives devant l’état de l’art. La méthode proposée se révèle particulièrement robuste au
cas où les sources épileptiques sont mutuellement dépendantes.Dans ce cas, les performances
des méthodes d’inversion statistiques (par exemple, la bien connue méthode MUltiple SIgnal
Classification –MUSIC) décroissent très significativement.