SENSE-LM : une synergie entre modèles de langage et représentations sensorimotrices pour la recherche de références olfactives et auditives dans des documents écrits
Résumé
Les cinq sens – la vue, le goût, l'odorat, l'ouïe et le toucher – influencent la perception humaine à travers diverses modalités. L'extraction de références sensorielles (expressions évoquant une expérience sensorielle) dans un corpus textuel est un sujet d'intérêt avec de nombreuses applications, notamment en neurosciences ou dans l'étude du patrimoine culturel. Cet article présente SENSE-LM, un système d'extraction d'informations sensorielles dans de grandes collections de documents textuels. En associant des modèles de langage et des représentations sensorimotrices, il automatise l'extraction d'informations sensorielles à gros grain (classification binaire de phrases) et à grain fin (extraction de termes sensoriels). L'évaluation de SENSE-LM sur deux sensorialités, l'odorat et l'ouïe, révèle des avancées significatives dans l'automatisation de ces tâches complexes.