Embodied semantics put to the test: electrophysiological evidence from virtual reality and classical environments
La cognition incarnée mise à l’épreuve : des preuves électrophysiologiques dans des environnements virtuels et classiques
Résumé
While neuroimaging and behavioral studies have shown that sensory-motor systems are recruited
during semantic processing, how and when this occurs has not yet been clearly established.
Our purpose was to observe the different contexts in which motor activation can contribute to language
comprehension and learning, using interactive and ecologically valid environments. In our first
study, novice learners acquired a reduced second language (L2) lexicon through interactive computer
games. Behavioral and electroencephalography (EEG) results indexed rapid L2 word learning. Interestingly,
even-related potential (ERP) results revealed a gender congruency effect such that only
words that had the same grammatical gender across participants’ L1 and L2 gave rise to an N400
effect for match vs mismatch auditory word and image pairs, indicating that these words were better
encoded. In a second study, we used an action-sentence compatibility effect (ACE) paradigm
to evaluate how motor preparation affects language processing. ERP results showed greater N400
amplitude for congruent compared to incongruent action-sentence trials, suggesting that compatibility
between motor and language processes produced interference. In studies 3 and 4, we combined
virtual reality (VR) and EEG to investigate interactions between language processing and motor
activation. In the first of these studies, participants heard action verbs in their native language and
performed varied actions on a virtual object in a Cave automatic virtual environment (CAVE) during
a Go-Nogo task. Time frequency analysis showed motor activation for both Go and Nogo conditions
during action verb processing and prior to movement proper. In addition, greater motor activation
for Go versus Nogo trials. Our final (projected) study is a registered report that aims to determine
the neural correlates of embodied L2 learning by having participants encode auditory action verbs
using an interactive virtual reality head-mounted display system and specific real-life actions on a
virtual object. Using behavioral and EEG measures in a pre-post training design, this condition will
be compared to a control condition in which participants will simply point to the virtual object.
The body of the work reported in this dissertation represents a significant step towards better
understanding the subtle relationship between motor and semantic processes. By making use of new
technologies that allow for manipulating and controlling the environment, our work opens up fresh
perspectives for taking into account the contextual nature of how we learn and understand language.
Bien que la neuro-imagerie et les études comportementales aient montré un recrutement des
systèmes sensorimoteurs lors du traitement sémantique, le rôle et le décours temporel de ces activations
doivent encore être précisés. Notre objectif était donc d’observer les différents contextes dans
lesquels l’activation motrice peut contribuer à la compréhension et à l’apprentissage du langage,
en utilisant des environnements interactifs et écologiques. Dans une première étude, des apprenants
novices ont acquis un vocabulaire restreint dans une deuxième langue (L2) au travers de jeux interactifs
sur ordinateur. Les résultats comportementaux et en électroencéphalographie (EEG) ont indiqué
un apprentissage rapide de mots en L2. Par contre, les potentiels évoqués ont révélé un effet de congruence
de genre grammatical : seuls les mots ayant le même genre dans la première et la deuxième
langue ont produit un effet N400 (réponse à la congruence/incongruence de paires de mots auditifs
et d’images), indiquant que ceux-ci ont été mieux intégrés. Dans une deuxième étude, nous avons
utilisé un paradigme de compatibilité entre phrases d’action et actions réalisées par le participant
(Action-sentence compatibility effect, ou ACE) pour mesurer les effets de la préparation motrice sur
le traitement du langage. Les résultats en EEG ont montré une plus grande amplitude de la N400 pour
des essais congruents par rapport aux essais incongruents, ce qui suggère une interférence provoquée
par la compatibilité entre les processus moteurs et langagiers. Dans les études 3 et 4, nous avons
combiné la réalité virtuelle (RV) et l’EEG pour analyser des interactions entre le traitement du langage
et l’activation motrice. Dans l’étude 3, les participants ont entendu des verbes d’action dans
leur langue maternelle et ont effectué diverses actions sur un objet virtuel dans un environnement
virtuel hautement immersif, le Cave automatic virtual environment (CAVE), pendant une tâche de
Go-Nogo. Des analyses en temps-fréquence du signal EEG ont montré des activations motrices dans
les deux conditions, avant tout mouvement physique. Cette activation était plus importante pour les
essais « Go » que pour les essais « Nogo ». Notre dernière étude (prévue) est un registered report
qui vise à déterminer les corrélats neuronaux de l’apprentissage incarné d’une deuxième langue.
Les participants encoderont des verbes d’action auditifs à l’aide d’un casque de réalité virtuelle
interactive en effectuant des actions spécifiques pour manipuler un objet virtuel. Dans un design
pré-/post-entraînement, l’apprentissage sera évalué avec des mesures EEG et comportementales et
comparé à l’apprentissage dans une condition où les participants pointent vers l’objet.
Le travail présenté dans cette thèse constitue un pas important vers une meilleure compréhension
de la relation subtile entre les processus moteurs et sémantiques. En tirant profit des nouvelles
technologies qui permettent de manipuler et contrôler l’environnement, notre travail ouvre de nouvelles
perspectives pour prendre en compte la nature contextuelle de notre apprentissage et de notre
compréhension du langage.