Artificial intelligence for real-time decoding of motor commands from ECoG of disabled subjects for chronic brain computer interfacing
Intelligence artificielle pour le décodage de commandes motrices de sujets handicapés, grâce à des interfaces cerveau-machine à usage chronique
Résumé
Brain-computer interfaces (BCIs) may significantly improve tetraplegic patients' quality of life by creating an alternative communication path between humans and the environment, potentially compensating for motor function loss. This thesis focuses on ECoG-based BCI systems that showed a high potential to provide efficient communication while being less invasive than intracortical recordings. In particular, we explored problem of continuous 3D hand translation decoding in a tetraplegic patient. In this case, most studies use linear models that may be too simple to analyze brain processes and may suffer from low decoding accuracy. Models based on deep learning (DL) have been proven effective in various tasks and thus emerge as a potential solution to create a robust brain signals representation. In this thesis, we studied the potential of DL-based methods for hand translation decoding from ECoG signals.First, we evaluated several DL models to predict 3D hand translation from ECoG time-frequency features. The analysis was performed on a dataset recorded with a tetraplegic subject in the BCI and Tetraplegia clinical trial (NCT02550522). We started the investigation with a multilayer perceptron taking vectorized features as input. Then, we proposed convolutional neural networks (CNN), which take matrix-organized inputs approximating the spatial arrangement of the electrodes. In addition, we investigated the usefulness of long short-term memory (LSTM) to analyze temporal information. Results showed that CNN-based architectures performed better than the current state-of-the-art multilinear model on the analyzed ECoG dataset. The best architecture used a CNN-based model to analyze the spatial representation of time-frequency features followed by LSTM exploiting the sequential character of the desired hand trajectory. Compared to the multilinear model, DL-based solutions increased average cosine similarity by up to 60%.In the case of BCI, access to large datasets is limited because recordings are time-consuming and tiring. To investigate the influence of the dataset size on the decoding performance, we compared the learning curve characteristics of DL and multilinear models evaluated in the previous step. The training dataset size was gradually increased from 5 to 140 minutes of signal in different computational experiments, focusing on dataset size requirements and patient adaptation effects. Our results revealed that DL models have a learning curve profile similar to the multilinear model, increasing performance for almost all training dataset sizes. This result validates the DL-based models as a good candidate for real-life applications. We also observed increased data quality for recordings performed later, indicating improved patient ability to generate meaningful patterns.DL proved its usefulness for computer vision, primarily in the case of end-to-end learning. It enabled extracting more powerful representations trained for a specific task and removed the step of hand-crafted feature extraction. We evaluated methods using raw ECoG signals as a natural extension of hand-crafted feature analysis. In the data processing pipeline evaluated so far, continuous wavelet transform was used to extract time-frequency representation, which can be seen as a convolution between a set of wavelet filters and the ECoG signal. In this setup, the gradient w.r.t. filters coefficients can be computed, and thus the whole network can be trained within an end-to-end scheme. The parameters of wavelet filters were optimized end-to-end to see potential profit from adjusting the parameters to this specific problem. The results showed only minor or no benefit from training the wavelets in terms of cosine similarity, while end-to-end models require more computational power. This may suggest that training first layer parameters may be less beneficial and more challenging in the case of ECoG-based BCI.
Les interfaces cerveau-machines (ICMs) peuvent améliorer considérablement la qualité de vie des patients tétraplégiques en créant une voie de communication alternative et en compensant la perte de la fonction motrice. Cette thèse se concentre sur les systèmes ICM basés sur l'ECoG qui ont montré un fort potentiel pour fournir une communication efficace, tout en étant moins invasif que les enregistrements intracorticaux. Cependant, la plupart des systèmes actuels souffrent d'une faible précision de décodage. Les modèles basés sur l'apprentissage profond (DL) se sont avérés efficaces dans de nombreuses tâches et apparaissent donc comme une solution possible pour créer une représentation robuste des signaux cérébraux. Dans cette thèse, nous avons étudié le potentiel des méthodes basées sur l'apprentissage profond pour le décodage de la translation de la main à partir de signaux ECoG.Tout d'abord, nous avons évalué plusieurs modèles de DL sur des données de l'essai clinique BCI et Tétraplégie (NCT02550522) enregistrées avec un sujet tétraplégique, pour prédire la translation de la main en 3D à partir des caractéristiques temps-fréquence des signaux ECoG. Nous avons commencé l'étude avec un perceptron multicouche prenant en entrée des caractéristiques vectorisées. Ensuite, nous avons proposé des réseaux neuronaux convolutifs (CNN), qui prennent des entrées organisées en matrices se rapprochant de la disposition spatiale des électrodes, et des cellulles long short-term memory (LSTM) pour analyser les informations temporelles. Les résultats ont montré que les architectures basées sur les réseaux neuronaux convolutifs sont plus performantes que le modèle multilinéaire actuel sur l'ensemble des données ECoG analysées, avec une augmentation de la similarité cosinus moyenne allant jusqu'à 60 %. La meilleure architecture utilisait un modèle CNN pour analyser la représentation spatiale des caractéristiques temps-fréquence, suivi d'un LSTM exploitant le caractère séquentiel des données.Dans le cas des ICM, l'accès à de grands jeux de données est limité car les enregistrements sont longs et fatigants pour le patient. Pour étudier l'impact de la taille du jeu de données sur les performances de décodage, la quantité de données d'entraînement a été progressivement augmentée de 5 à 140 minutes de signal dans différentes expériences de calcul, en se concentrant sur les exigences de taille du jeu de données et les effets d'adaptation du patient. Nos résultats ont révélé que les modèles de DL augmentent les performances pour presque toutes les tailles de jeu de données d'entraînement. Ce résultat valide les modèles de DL comme bons candidats pour les applications de la vie réelle. Nous avons également observé une meilleure qualité des données pour les enregistrements effectués plus tardivement, ce qui indique un progrès du patient pour générer des signaux informatifs.Le DL a prouvé son utilité pour la vision par ordinateur, principalement dans le cas de l'apprentissage de bout en bout, permettant l'extraction de représentations plus adaptées à une tâche spécifique. Nous avons évalué des méthodes utilisant des signaux ECoG bruts en tant qu'extension naturelle de l'analyse des caractéristiques créées à la main. Les paramètres de la transformée en ondelettes continue utilisée pour extraire la représentation temps-fréquence ont été optimisés de bout en bout pour voir le bénéfice potentiel de l'ajustement des paramètres à ce problème spécifique. Les résultats ont montré qu'il n'y avait que peu ou pas de bénéfice à entraîner les ondelettes en termes de similarité en cosinus, alors que les modèles de bout en bout nécessitent plus de puissance de calcul. Cela peut suggérer que l'entraînement des paramètres de la première couche peut être moins bénéfique et plus difficile dans le cas d'une BCI basée sur l'ECoG.
| Origine | Version validée par le jury (STAR) |
|---|