The HMAD project
Fiche technique projet HMAD
Résumé
The main objective of the HMAD project (Head Movements Automatic Detection) is to provide R scripts allowing to detect automatically head and facial movements from a video record.
The HMAD project makes use of existing solutions such the OpenFace toolkit proposed by Tadas Baltrušaitis (Baltrušaitis et al., 2018) in order to analyze the video signal, track the face, provide head pose estimation, perform facial landmark detection, facial action unit recognition, and eye-gaze estimation.
The R scripts of the HMAD project are therefore an additional layer which propose automatic tools for specific head or facial movements detection task (e.g. eyebrows raising and frowning actions, smiles annotation on the Smiling Intensity Scale – see the chapter “Annotations” in the LPL book). HMAD is open source project, you will find the scripts and a full description at the url: https://github.com/srauzy/HMAD/
L’objectif principal du projet HMAD (Head Movements Automatic Detection) est de proposer des scripts en R qui permettent de détecter automatiquement des mouvements faciaux et des mouvements de tête à partir d’un enregistrement vidéo.
5Le projet HMAD utilise en entrée des solutions existantes comme le logiciel OpenFace proposé par Tadas Baltrušaitis (Baltrušaitis et al., 2018) qui permet d’analyser le signal vidéo, de repérer et suivre le visage et la direction de la tête, de mesurer la position des landmarks faciaux, de reconnaitre les Unités d’Action faciales et d’estimer la direction du regard.
6Les scripts R de HMAD forment une couche additionnelle d’outils automatiques dédiés à la détection de mouvements de tête et de gestes faciaux spécifiques (e.g. haussements et froncements des sourcils, annotations des sourires sur l’échelle d’intensité « Smile Intensity Scale » - voir le chapitre « Annotations » du livre du LPL). Le projet HMAD est un projet open source dont les sources et la description complète sont disponibles à l’url : https://github.com/srauzy/HMAD/