The HMAD project - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue (Data Paper) Travaux Interdisciplinaires sur la Parole et le Langage Année : 2022

The HMAD project

Fiche technique projet HMAD

Résumé

The main objective of the HMAD project (Head Movements Automatic Detection) is to provide R scripts allowing to detect automatically head and facial movements from a video record. The HMAD project makes use of existing solutions such the OpenFace toolkit proposed by Tadas Baltrušaitis (Baltrušaitis et al., 2018) in order to analyze the video signal, track the face, provide head pose estimation, perform facial landmark detection, facial action unit recognition, and eye-gaze estimation. The R scripts of the HMAD project are therefore an additional layer which propose automatic tools for specific head or facial movements detection task (e.g. eyebrows raising and frowning actions, smiles annotation on the Smiling Intensity Scale – see the chapter “Annotations” in the LPL book). HMAD is open source project, you will find the scripts and a full description at the url: https://github.com/​srauzy/​HMAD/​
L’objectif principal du projet HMAD (Head Movements Automatic Detection) est de proposer des scripts en R qui permettent de détecter automatiquement des mouvements faciaux et des mouvements de tête à partir d’un enregistrement vidéo. 5Le projet HMAD utilise en entrée des solutions existantes comme le logiciel OpenFace proposé par Tadas Baltrušaitis (Baltrušaitis et al., 2018) qui permet d’analyser le signal vidéo, de repérer et suivre le visage et la direction de la tête, de mesurer la position des landmarks faciaux, de reconnaitre les Unités d’Action faciales et d’estimer la direction du regard. 6Les scripts R de HMAD forment une couche additionnelle d’outils automatiques dédiés à la détection de mouvements de tête et de gestes faciaux spécifiques (e.g. haussements et froncements des sourcils, annotations des sourires sur l’échelle d’intensité « Smile Intensity Scale » - voir le chapitre « Annotations » du livre du LPL). Le projet HMAD est un projet open source dont les sources et la description complète sont disponibles à l’url : https://github.com/​srauzy/​HMAD/​

Dates et versions

hal-03962319 , version 1 (30-01-2023)

Identifiants

Citer

Stéphane Rauzy, Aurélie Goujon, Mary Amoyal. The HMAD project: Automatic Detection of Head Movements. Travaux Interdisciplinaires sur la Parole et le Langage, 2022, 38, ⟨10.4000/tipa.5728⟩. ⟨hal-03962319⟩
28 Consultations
0 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More