Embodied semantics put to the test: electrophysiological evidence from virtual reality and classical environments - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2020

Embodied semantics put to the test: electrophysiological evidence from virtual reality and classical environments

La cognition incarnée mise à l’épreuve : des preuves électrophysiologiques dans des environnements virtuels et classiques

Résumé

While neuroimaging and behavioral studies have shown that sensory-motor systems are recruited during semantic processing, how and when this occurs has not yet been clearly established. Our purpose was to observe the different contexts in which motor activation can contribute to language comprehension and learning, using interactive and ecologically valid environments. In our first study, novice learners acquired a reduced second language (L2) lexicon through interactive computer games. Behavioral and electroencephalography (EEG) results indexed rapid L2 word learning. Interestingly, even-related potential (ERP) results revealed a gender congruency effect such that only words that had the same grammatical gender across participants’ L1 and L2 gave rise to an N400 effect for match vs mismatch auditory word and image pairs, indicating that these words were better encoded. In a second study, we used an action-sentence compatibility effect (ACE) paradigm to evaluate how motor preparation affects language processing. ERP results showed greater N400 amplitude for congruent compared to incongruent action-sentence trials, suggesting that compatibility between motor and language processes produced interference. In studies 3 and 4, we combined virtual reality (VR) and EEG to investigate interactions between language processing and motor activation. In the first of these studies, participants heard action verbs in their native language and performed varied actions on a virtual object in a Cave automatic virtual environment (CAVE) during a Go-Nogo task. Time frequency analysis showed motor activation for both Go and Nogo conditions during action verb processing and prior to movement proper. In addition, greater motor activation for Go versus Nogo trials. Our final (projected) study is a registered report that aims to determine the neural correlates of embodied L2 learning by having participants encode auditory action verbs using an interactive virtual reality head-mounted display system and specific real-life actions on a virtual object. Using behavioral and EEG measures in a pre-post training design, this condition will be compared to a control condition in which participants will simply point to the virtual object. The body of the work reported in this dissertation represents a significant step towards better understanding the subtle relationship between motor and semantic processes. By making use of new technologies that allow for manipulating and controlling the environment, our work opens up fresh perspectives for taking into account the contextual nature of how we learn and understand language.
Bien que la neuro-imagerie et les études comportementales aient montré un recrutement des systèmes sensorimoteurs lors du traitement sémantique, le rôle et le décours temporel de ces activations doivent encore être précisés. Notre objectif était donc d’observer les différents contextes dans lesquels l’activation motrice peut contribuer à la compréhension et à l’apprentissage du langage, en utilisant des environnements interactifs et écologiques. Dans une première étude, des apprenants novices ont acquis un vocabulaire restreint dans une deuxième langue (L2) au travers de jeux interactifs sur ordinateur. Les résultats comportementaux et en électroencéphalographie (EEG) ont indiqué un apprentissage rapide de mots en L2. Par contre, les potentiels évoqués ont révélé un effet de congruence de genre grammatical : seuls les mots ayant le même genre dans la première et la deuxième langue ont produit un effet N400 (réponse à la congruence/incongruence de paires de mots auditifs et d’images), indiquant que ceux-ci ont été mieux intégrés. Dans une deuxième étude, nous avons utilisé un paradigme de compatibilité entre phrases d’action et actions réalisées par le participant (Action-sentence compatibility effect, ou ACE) pour mesurer les effets de la préparation motrice sur le traitement du langage. Les résultats en EEG ont montré une plus grande amplitude de la N400 pour des essais congruents par rapport aux essais incongruents, ce qui suggère une interférence provoquée par la compatibilité entre les processus moteurs et langagiers. Dans les études 3 et 4, nous avons combiné la réalité virtuelle (RV) et l’EEG pour analyser des interactions entre le traitement du langage et l’activation motrice. Dans l’étude 3, les participants ont entendu des verbes d’action dans leur langue maternelle et ont effectué diverses actions sur un objet virtuel dans un environnement virtuel hautement immersif, le Cave automatic virtual environment (CAVE), pendant une tâche de Go-Nogo. Des analyses en temps-fréquence du signal EEG ont montré des activations motrices dans les deux conditions, avant tout mouvement physique. Cette activation était plus importante pour les essais « Go » que pour les essais « Nogo ». Notre dernière étude (prévue) est un registered report qui vise à déterminer les corrélats neuronaux de l’apprentissage incarné d’une deuxième langue. Les participants encoderont des verbes d’action auditifs à l’aide d’un casque de réalité virtuelle interactive en effectuant des actions spécifiques pour manipuler un objet virtuel. Dans un design pré-/post-entraînement, l’apprentissage sera évalué avec des mesures EEG et comportementales et comparé à l’apprentissage dans une condition où les participants pointent vers l’objet. Le travail présenté dans cette thèse constitue un pas important vers une meilleure compréhension de la relation subtile entre les processus moteurs et sémantiques. En tirant profit des nouvelles technologies qui permettent de manipuler et contrôler l’environnement, notre travail ouvre de nouvelles perspectives pour prendre en compte la nature contextuelle de notre apprentissage et de notre compréhension du langage.
Fichier non déposé

Dates et versions

tel-03193699 , version 1 (09-04-2021)

Identifiants

  • HAL Id : tel-03193699 , version 1

Citer

Ana Zappa. Embodied semantics put to the test: electrophysiological evidence from virtual reality and classical environments. Cognitive science. Aix-Marseille Université, 2020. English. ⟨NNT : ⟩. ⟨tel-03193699⟩
95 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More