Action detection for untrimmed videos based on deep neural networks
Détection d'action pour les vidéos par les réseaux de neurones profonds
Résumé
Understanding human behaviour and its activities facilitate the advancement of numerous real-world applications and is critical for video analysis. Despite the progress of action recognition algorithms in trimmed videos, the majority of real-world videos are lengthy and untrimmed with dense regions of interest. An effective real-world action understanding system should be able to detect multiple actions in long untrimmed videos. In this thesis, we focus mainly on temporal action detection in untrimmed videos, which aims at finding the action occurrences along time in the video. Specifically, temporal action detection methods face three main challenges: (a) modelling in a video the temporal dependencies between actions, including composite and co-occurring actions, (b) learning the representation of fine-grained actions as well as (c) learning a representation from multiple modalities.In this thesis, we first introduce a large indoor action detection benchmark: Toyota Smarthome Untrimmed, which provides spontaneous activities with rich and dense annotations to address the detection of complex activities in real-world scenarios. After that, we propose multiple novel approaches towards action detection in untrimmed videos. These approaches are targeting the aforementioned three challenges: Firstly, we study temporal modelling for action detection. Specifically, we study how to enhance temporal representation using self-attention mechanisms. Our proposed methods allow for processing long-term video and for reasoning about temporal dependencies between video frames at multiple time scales. Secondly, we explore how to recognize and detect fine-grained actions using semantics of object and action contained in the video. In this work, we propose a general semantic reasoning framework. This framework consists of mainly two steps: (1) extracting the semantics from the video to form a structural video representation; (2) enhancing the video representation by reasoning about the extracted semantics. The proposed semantic reasoning strategy improves the detection of fine-grained actions and shows its effectiveness in action recognition and detection tasks. Thirdly, we tackle the problem on how to represent untrimmed video using multiple modalities for action detection. We propose two cross-modality baselines based either on attention mechanism or on knowledge distillation. Both methods leverage the additional modalities to enhance RGB video representation resulting in better action detection performance.Our methods have been extensively evaluated on challenging action detection benchmarks. The proposed methods outperform previous methods, significantly pushing temporal action detection to real-world deployments.
La compréhension des activités humaines facilite l'avancement de nombreuses applications dans le monde réel et est essentielle pour l'analyse vidéo. Malgré les progrès des algorithmes de reconnaissance d'actions dans les vidéos découpées, la majorité des vidéos du monde réel sont longues et non découpées avec des régions d'intérêt denses. Un système efficace de compréhension d'actions dans le monde réel devrait être capable de détecter des actions dans de longues vidéos non découpées. Dans cette thèse, nous concentrons principalement sur la détection d'actions temporelles dans les vidéos non découpées. Plus précisément, les méthodes de détection d'actions temporelles font face à trois défis principaux : (a) modéliser dans une vidéo les dépendances temporelles entre les actions, y compris les actions composites et co-occurrentes, (b) apprendre la représentation d'actions à grain fin, ainsi que (c) apprendre une représentation à partir de modalités multiples.Dans cette thèse, nous présentons tout d'abord un grand benchmark de détection d'actions en intérieur: Toyota Smarthome Untrimmed, qui fournit des activités spontanées avec des annotations riches et denses pour aborder la détection d'activités complexes dans des scénarios du monde réel. Ensuite, nous proposons plusieurs nouvelles approches pour la détection d'actions. Ces approches visent à relever les trois défis susmentionnés: Premièrement, nous étudions la modélisation temporelle pour la détection d'actions. Plus précisément, nous étudions comment améliorer la représentation temporelle en utilisant des mécanismes d'auto-attention. Les méthodes que nous proposons permettent de traiter des vidéos à long terme et de raisonner sur les dépendances temporelles entre les images vidéo à plusieurs échelles de temps. Deuxièmement, nous explorons comment reconnaître et détecter des actions à grain fin en utilisant la sémantique de l'objet et de l'action contenus dans la vidéo. Dans ce travail, nous proposons un cadre général de raisonnement sémantique. Ce cadre se compose principalement de deux étapes : (1) l'extraction de la sémantique de la vidéo pour former une représentation vidéo structurelle ; (2) l'amélioration de la représentation vidéo par le raisonnement sur la sémantique extraite. La stratégie de raisonnement sémantique proposée améliore la détection d'actions à grain fin et montre son efficacité dans les tâches de reconnaissance et de détection d'actions. Troisièmement, nous nous attaquons au problème de la représentation d'une vidéo non découpée en utilisant plusieurs modalités pour la détection d'actions. Nous proposons deux lignes de base multimodales basées soit sur le mécanisme d'attention, soit sur la distillation des connaissances. Les deux méthodes tirent parti des modalités supplémentaires pour améliorer la représentation de la vidéo RVB, ce qui se traduit par de meilleures performances en matière de détection d'action.Nos méthodes ont été évaluées de manière approfondie sur des repères de détection d'action difficiles. Les méthodes proposées sont plus performantes que les méthodes précédentes, ce qui fait progresser de manière significative la détection d'actions temporelles dans les déploiements du monde réel.
| Origine | Version validée par le jury (STAR) |
|---|