Creating and exploiting metadata for video content recommendation
Création et exploitation de métadonnées pour la recommandation de contenu vidéo
Résumé
Deep Learning applied to computer vision has been shown to be able to extract many kinds of semantic information. From classification to localization, or pixel-level semantic segmentation, those new algorithms improved on the state-of-the-art of many tasks and many domains. The company I have been working with provides video streaming platforms for many customers. One of them wants to compete with other actors who have been investing in deep learning in order to improve their user experience.We aim at extracting semantic information that was not accessible before in order to make better personalized suggestions, emphasize on high quality content and propose new content browsing and exploration features. As such, in this work, we explore tasks such as face identification, activity recognition and recommender systems with an emphasis on latency and the ability to deploy at scale. Our contributions were made by developing three datasets from our industrial content. The first one is a study on data augmentation and pretrained models to train a classifier from an activity dataset for our data domain. Our second contribution is a survey on learning classifiers in presence of label noise. Thenext contributions revolve around face recognition. We propose a new loss function, the Threshold-Softmax, aiming to learn from negative samples, that is, faces whose identity is just known not to be one of the other classes. We revert back from metric learning to standard classifiers and explore four loss functions for exploiting further negative learning, using a dataset of faces labeled with their identity, of people famous in our customer’s domain. We also contribute a face swapping model based on the Vector-Quantized Variational Auto-Encoder (VQVAE), along with a new algorithm to improve the vector quantization algorithm. Finally, we use the browsing history of premium users in order to learn a recommender system based on metadata, aiming to mitigate the cold start problem for both users and items.
Le Deep Learning appliqué `a la vision par ordinateur s’est révélé capable d’extraire de nombreux types d’informations sémantiques. De la classification à la localisation, ou à la segmentation sémantique au niveau du pixel, ces nouveaux algorithmes ont amélioré l’état de l’art de nombreuses tâches et de nombreux domaines. L’entreprise dans laquelle je travaille fournit des plates-formes de streaming vidéo à de nombreux clients. L’un d’entre eux souhaite concurrencer d’autres acteurs qui ont investi dans l’apprentissage profond afin d’améliorer leur expérience utilisateur. Notre objectif est d’extraire des informations sémantiques qui n’étaient pas accessibles auparavant afin de faire de meilleures suggestions personnalisées, de mettre l’accent sur le contenu de haute qualité et de proposer de nouvelles fonctionnalités de navigation et d’exploration du contenu. Ainsi, dans ce travail, nous explorons des tâches telles que l’identification de visage, la reconnaissance d’activité et les systèmes de recommandation en mettant l’accent sur la latence et la capacité de déploiement à grande échelle. Nos contributions ont été réalisées en développant trois jeux de données à partir de notre contenu industriel. La première est une étude sur l’augmentation des données et les modèles pré-entrainées pour entraîner un classificateur à partir d’un ensemble de données d’activité pour notre domaine de données. Notre deuxième contribution est une étude sur l’apprentissage de classifieurs en présence de bruit d’étiquettes. Les contributions suivantes portent sur la reconnaissance des visages. Nous proposons une nouvelle fonction de perte, le Threshold-Softmax, visant à apprendre à partir d’échantillons négatifs, c’est-à-dire des visages dont l’identité n’est pas celle d’une des autres classes. Nous revenons de l’apprentissage métrique aux classificateurs standards et explorons quatre fonctions de perte pour exploiter davantage l’apprentissage négatif, en utilisant un jeu de données de visages étiquetés avec leur identité, de personnes célèbres dans le domaine de notre client. Nous proposons également un modèle d’échange de visages basé sur le Vector-Quantized Variational Auto-Encoder (VQVAE), ainsi qu’un nouvel algorithme pour améliorer l’algorithme de quantification vectorielle. Enfin, nous utilisons l’historique de navigation des utilisateurs premium afin d’apprendre un système de recommandation basé sur les métadonnées, visant à atténuer le problème du démarrage à froid pour les utilisateurs et les vidéos.
| Origine | Version validée par le jury (STAR) |
|---|