Remote photoplethysmography measurement and filtering using deep learning based methods
Mesure et filtrage de signaux ppg sans contact par méthodes basées deep learning
Résumé
RPPG is a technique developed to measure the blood volume pulse signal and then estimate physiological data such as pulse rate, breathing rate, and pulse rate variability.Due to the multiple sources of noise that deteriorate the quality of the RPPG signal, conventional filters are commonly used. However, some alterations remain, but interestingly, an experienced eye can easily identify them. In the first part of this thesis, we propose the Long Short-Term Memory Deep-Filter (LSTMDF) network in the RPPG filtering task. We use different protocols to analyze the performance of the method. We demonstrate how the network can be efficiently trained with a few signals. Our study demonstrates experimentally the superiority of the LSTM-based filter compared with conventional filters. We found a network sensitivity related to the average signal-to-noise ratio on the RPPG signals.Approaches based on convolutional networks such as 3DCNNs have recently outperformed traditional hand-crafted methods in the RPPG measurement task. However, it is well known that large 3DCNN models have high computational costs and may be unsuitable for real-time applications. As the second contribution of this thesis, we propose a study of a 3DCNN architecture, finding the best compromise between pulse rate measurement precision and inference time. We use an ablation study where we decrease the input size, propose a custom loss function, and evaluate the impact of different input color spaces. The result is the Real-Time RPPG (RTRPPG), an end-to-end RPPG measurement framework that can be used in GPU and CPU. We also proposed a data augmentation method that aims to improve the performance of deep learning networks when the database has specific characteristics (e.g., fitness movement) and when there is not enough data available.
RPPG est une technique développée pour mesurer le signal du pouls et ensuite estimer les données physiologiques telles que la fréquence cardiaque, la fréquence respiratoire et la variabilité du pouls.En raison des multiples sources de bruit qui détériorent la qualité du signal RPPG, les filtres conventionnels sont couramment utilisés. Cependant, certaines altérations demeurent, alors qu'un œil expérimenté peut facilement les identifier. Dans la première partie de cette thèse, nous proposons le réseau LSTMDF (Long Short-Term Memory Deep-Filter) pour réaliser le filtrage du signal RPPG. Nous utilisons différents protocoles pour analyser les performances de la méthode. Nous démontrons comment le réseau peut être entraîné efficacement avec un nombre limité de signaux. Notre étude démontre expérimentalement la supériorité du filtre basé sur le LSTM par rapport aux filtres conventionnels. Le réseau est ainsi peu sensible rapport signal/bruit moyen des signaux RPPG.Les approches basées sur les réseaux convolutifs tels que les 3DCNN ont récemment surpassé les méthodes manuelles traditionnelles dans la tâche de mesure du RPPG. Cependant, il est connu que les grands modèles 3DCNN ont des coûts de calcul élevés et peuvent être inadaptés aux applications en temps réel. Comme deuxième contribution de cette thèse, nous proposons une étude d'une architecture 3DCNN, trouvant le meilleur compromis entre la précision de la mesure du pouls et le temps d'inférence. Nous utilisons une étude d'ablation où nous diminuons la taille de l'entrée, proposons une fonction de perte personnalisée, et évaluons l'impact de différents espaces de couleur d'entrée. Le résultat est le RPPG en temps réel (RTRPPG), un outil de mesure du RPPG de bout en bout qui peut être utilisé sur GPU et CPU. Nous avons également proposé une méthode d'augmentation des données qui vise à améliorer les performances des réseaux d'apprentissage profond lorsque la base de données présente des caractéristiques spécifiques (par exemple, les mouvements de type fitness) et lorsque les données disponibles sont peu nombreuses.
| Origine | Version validée par le jury (STAR) |
|---|