Objective Hand Complexity Comparison between Two Mandarin Chinese Cued Speech Systems - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Objective Hand Complexity Comparison between Two Mandarin Chinese Cued Speech Systems

Résumé

Recently, a pilot Mandarin Chinese Cued Speech (MCCS) system, called MCCS-1 was proposed with a main characteristic that each vowel is coded by only one specific hand position, without using any hand slides to code diphthongs. Indeed, hand slides are also used in some other languages of CS to code diphthongs. In order to demonstrate that the MCCS-1 system possesses real advantages over systems using hand slides, in this work, we first propose a novel MCCS-2 by introducing hand slides to code diphthongs, and a "push out move" for ending consonants [n] or [ng] of nasalized vowels. Then, we present a multi-parameter hand complexity measure method to compare MCCS-1 and MCCS-2 by measuring three kinematic parameters, which are the time duration of words realization, hand move trajectory length and average speed of hand movements. Moreover, the first MCCS corpus for these two systems is recorded by three speakers specifically for this work. A statistical analysis of this database shows a superior performance of MCCS-1 since it costs less time and takes a shorter hand move trajectory length than MCCS-2. A strong correlation is observed between the complexity of hand movement and the time duration of word realization.
Récemment, un système pilote de discours indicé du chinois mandarin (MCCS), appelé MCCS-1, a été proposé avec une caractéristique principale selon laquelle chaque voyelle est codée par une seule position de main spécifique, sans utiliser de glissières de main pour coder les diphtongues. En effet, les diapositives à main sont également utilisées dans certaines autres langues de CS pour coder les diphtongues. Afin de démontrer que le système MCCS-1 possède de réels avantages par rapport aux systèmes utilisant des glissières manuelles, dans ce travail, nous proposons d'abord un nouveau MCCS-2 en introduisant des glissières manuelles pour coder les diphtongues, et un "push out move" pour les consonnes finales [ n] ou [ng] de voyelles nasalisées. Ensuite, nous présentons une méthode de mesure de la complexité de la main multi-paramètres pour comparer MCCS-1 et MCCS-2 en mesurant trois paramètres cinématiques, qui sont la durée de réalisation des mots, la longueur de la trajectoire du mouvement de la main et la vitesse moyenne des mouvements de la main. De plus, le premier corpus MCCS pour ces deux systèmes est enregistré par trois locuteurs spécifiquement pour ce travail. Une analyse statistique de cette base de données montre une performance supérieure de MCCS-1 car il coûte moins de temps et prend une longueur de trajectoire de mouvement de la main plus courte que MCCS-2. Une forte corrélation est observée entre la complexité du mouvement de la main et la durée de réalisation du mot.
Fichier principal
Vignette du fichier
paper16-Objective Hand Complexity Comparison.pdf (766.61 Ko) Télécharger le fichier

Dates et versions

hal-03978682 , version 1 (08-02-2023)

Identifiants

Citer

Li Liu, Gang Feng, Xiaoxi Ren, Xianping Ma. Objective Hand Complexity Comparison between Two Mandarin Chinese Cued Speech Systems. ISCSLP 2022 -13th International Symposium on Chinese Spoken Language Processing (ISCSLP 2022), IEEE, Dec 2022, Singapore, Singapore. pp.215-219, ⟨10.1109/ISCSLP57327.2022.10037814⟩. ⟨hal-03978682⟩
28 Consultations
46 Téléchargements

Altmetric

Partager

Gmail Mastodon Facebook X LinkedIn More