Objective Hand Complexity Comparison between Two Mandarin Chinese Cued Speech Systems
Résumé
Recently, a pilot Mandarin Chinese Cued Speech (MCCS) system, called MCCS-1 was proposed with a main characteristic that each vowel is coded by only one specific hand position, without using any hand slides to code diphthongs. Indeed, hand slides are also used in some other languages of CS to code diphthongs. In order to demonstrate that the MCCS-1 system possesses real advantages over systems using hand slides, in this work, we first propose a novel MCCS-2 by introducing hand slides to code diphthongs, and a "push out move" for ending consonants [n] or [ng] of nasalized vowels. Then, we present a multi-parameter hand complexity measure method to compare MCCS-1 and MCCS-2 by measuring three kinematic parameters, which are the time duration of words realization, hand move trajectory length and average speed of hand movements. Moreover, the first MCCS corpus for these two systems is recorded by three speakers specifically for this work. A statistical analysis of this database shows a superior performance of MCCS-1 since it costs less time and takes a shorter hand move trajectory length than MCCS-2. A strong correlation is observed between the complexity of hand movement and the time duration of word realization.
Récemment, un système pilote de discours indicé du chinois mandarin (MCCS), appelé MCCS-1, a été proposé avec une caractéristique principale selon laquelle chaque voyelle est codée par une seule position de main spécifique, sans utiliser de glissières de main pour coder les diphtongues. En effet, les diapositives à main sont également utilisées dans certaines autres langues de CS pour coder les diphtongues. Afin de démontrer que le système MCCS-1 possède de réels avantages par rapport aux systèmes utilisant des glissières manuelles, dans ce travail, nous proposons d'abord un nouveau MCCS-2 en introduisant des glissières manuelles pour coder les diphtongues, et un "push out move" pour les consonnes finales [ n] ou [ng] de voyelles nasalisées. Ensuite, nous présentons une méthode de mesure de la complexité de la main multi-paramètres pour comparer MCCS-1 et MCCS-2 en mesurant trois paramètres cinématiques, qui sont la durée de réalisation des mots, la longueur de la trajectoire du mouvement de la main et la vitesse moyenne des mouvements de la main. De plus, le premier corpus MCCS pour ces deux systèmes est enregistré par trois locuteurs spécifiquement pour ce travail. Une analyse statistique de cette base de données montre une performance supérieure de MCCS-1 car il coûte moins de temps et prend une longueur de trajectoire de mouvement de la main plus courte que MCCS-2. Une forte corrélation est observée entre la complexité du mouvement de la main et la durée de réalisation du mot.
Fichier principal
paper16-Objective Hand Complexity Comparison.pdf (766.61 Ko)
Télécharger le fichier