Deep Learning and Information Geometry for Time-Series Classification
Apprentissage Profond et G om trie de L’Information pour la Classification de Signaux Temporels
Résumé
Machine Learning, and in particular Deep Learning, is a powerful tool to model
and study the intrinsic statistical foundations of data, allowing the extraction of
meaningful, human-interpretable information from otherwise unpalatable arrays
of floating points. While it provides a generic solution to many problems, some
particular data types exhibit strong underlying physical structure: images have
spatial locality, audio has temporal sequentiality, radar has time-frequency structure.
Both intuitively and formally, there can be much to gain in leveraging this
structure by adapting the subsequent learning models. As convolutional architectures
for images, signal properties can be encoded and harnessed within the
network. Conceptually, this would allow for a more intrinsic handling of the data,
potentially leading to more efficient learning models. Thus, we will aim to use
known structures in the signals as model priors. Specifically, we build dedicated
deep temporal architectures for time series classification, and explore the use of
complex values in neural networks to further refine the analysis of structured
data.
Going even further, one may wish to directly study the signal’s underlying
statistical process. As such, Gaussian families constitute a popular candidate.
Formally, the covariance of the data fully characterizes such a distribution; developing
Machine Learning algorithms on covariance matrices will thus be a central
theme throughout this thesis. Statistical distributions inherently diverge from the
Euclidean framework; as such, it is necessary to study them on the appropriate,
curved Riemannian manifold, as opposed to a flat, Euclidean space. Specifically,
we contribute to existing deep architectures by adding normalizations in the
form of data-aware mappings, and a Riemannian Batch Normalization algorithm.
We showcase empirical validation through a variety of different tasks, including
emotion and action recognition from video and Motion Capture data, with a
sharpened focus on micro-Doppler radar data for Non-Cooperative Target Recognition
drone recognition. Finally, we develop a library for the Deep Learning
framework PyTorch, to spur reproducibility and ease of use.
L’apprentissage automatique, et en particulier l’apprentissage profond, unit un arsenal
d’outillages puissants pour modeler et tudier les distributions statistiques
sous-jacentes aux donn es, permettant ainsi l’extraction d’informations s mantiquement
valides et interpr tables depuis des s quences tabulaires de nombres
par ailleurs indigestes l’oeil humain. Bien que l’apprentissage fournisse une
solution g n rique la plupart des probl mes, certains types de donn es pr sentent
une riche structure issue de ph nom nes physiques: les images ont la localit
spatiale, les sons la s quentialit temporelle, le radar la structure temps-fr quence.
Il est la fois intuitif et d montrable qu’il serait b n fique d’exploiter avec astucieuse
ces formations fondatrices au sein m me des mod les d’apprentissage. A
l’instar des architectures convolutives pour les images, les propri t s du signal
peuvent tre encod es et utilis es dans un r seau de neurones adapt , avec pour
but l’apprentissage de mod les plus efficaces, plus performants. Sp cifiquement,
nous oeuvrerons int grer dans la conception nos mod les profonds pour la
classification de s ries temporelles des sur leurs structures sous-jacentes, savoir
le temps, la fr quence, et leur nature proprement complexe.
En allant plus loin dans une veine similaire, l’on peut s’atteler la t che
d’ tudier non pas le signal en tant que tel, mais bel et bien la distribution statistique
dont il est issu. Dans ce scenario, les familles Gaussiennes constituent un
candidat de choix. Formellement, la covariance des vecteurs de donn es caract risent
enti rement une telle distribution, pour peu qu’on la consid re, peu
de frais, centr e; le d veloppement d’algorithmes d’apprentissage, notamment
profonds, sur des matrices de covariance, sera ainsi un th me central de cette
th se. L’espace des distributions diverge de mani re fondamentale des espaces
Euclidiens plats; il s’agit en fait de vari t s Riemanniennes courbes, desquelles
il conviendra de respecter la g om trie math matique intrins que. Sp cifiquement,
nous contribuons des architectures existantes par la cr ation de nouvelles
couches inspir es de la g om trie de l’information, notamment une couche de
projection sensible aux donn es, et une couche inspir e de l’algorithme classique
de la Batch Normalization. La validation empirique de nos nouveaux mod les
se fera dans trois domaines diff rents: la reconnaissance d’ motions par vid o,
d’action par squelettes, avec une attention toute particuli re la classification
de drones par signal radar micro-Doppler. Enfin, nous proposerons une librairie
PyTorch aidant la reproduction des r sultats et la facilit de r -impl mentation
des algorithmes propos s.
Origine | Fichiers produits par l'(les) auteur(s) |
---|