Creating and exploiting metadata for video content recommendation
Créer et exploiter des métadonnées pour la recommandation de contenu vidéo.
Résumé
Deep Learning applied to computer vision has been shown to be able to extract many kinds of semantic information. From classification to localization, or pixel-level semantic segmentation, those new
algorithms improved on the state-of-the-art of many tasks and many domains. The company I have
been working with provides video streaming platforms for many customers. One of them wants to
compete with other actors who have been investing in deep learning in order to improve their user experience. We aim at extracting semantic information that was not accessible before in order to make
better personalized suggestions, emphasize on high quality content and propose new content browsing
and exploration features. As such, in this work, we explore tasks such as face identification, activity
recognition and recommender systems with an emphasis on latency and the ability to deploy at scale.
Our contributions were made by developing three datasets from our industrial content. The first one is
a study on data augmentation and pretrained models to train a classifier from an activity dataset for our
data domain. Our second contribution is a survey on learning classifiers in presence of label noise. The
next contributions revolve around face recognition. We propose a new loss function, the ThresholdSoftmax, aiming to learn from negative samples, that is, faces whose identity is just known not to be
one of the other classes. We revert back from metric learning to standard classifiers and explore four
loss functions for exploiting further negative learning, using a dataset of faces labeled with their identity, of people famous in our customer’s domain. We also contribute a face swapping model based on
the Vector-Quantized Variational Auto-Encoder (VQVAE), along with a new algorithm to improve the
vector quantization algorithm. Finally, we use the browsing history of premium users in order to learn
a recommender system based on metadata, aiming to mitigate the cold start problem for both users and
items.
Le Deep Learning applique´ a la vision par ordinateur s’est r ` ev´ el´ e capable d’extraire de nombreux types ´
d’informations semantiques. De la classification ´ a la localisation, ou ` a la segmentation s ` emantique au ´
niveau du pixel, ces nouveaux algorithmes ont amelior ´ e l’ ´ etat de l’art de nombreuses t ´ aches et de nom- ˆ
breux domaines. L’entreprise dans laquelle je travaille fournit des plates-formes de streaming video´
a de nombreux clients. L’un d’entre eux souhaite concurrencer d’autres acteurs qui ont investi dans `
l’apprentissage profond afin d’ameliorer leur exp ´ erience utilisateur. Notre objectif est d’extraire des in- ´
formations semantiques qui n’ ´ etaient pas accessibles auparavant afin de faire de meilleures suggestions ´
personnalisees, de mettre l’accent sur le contenu de haute qualit ´ e et de proposer de nouvelles fonction- ´
nalites de navigation et d’exploration du contenu. Ainsi, dans ce travail, nous explorons des t ´ aches ˆ
telles que l’identification de visage, la reconnaissance d’activite et les syst ´ emes de recommandation en `
mettant l’accent sur la latence et la capacite de d ´ eploiement ´ a grande ` echelle. Nos contributions ont ´
et´ e r ´ ealis ´ ees en d ´ eveloppant trois jeux de donn ´ ees ´ a partir de notre contenu industriel. La premi ` ere est `
une etude sur l’augmentation des donn ´ ees et les mod ´ eles pr ` e-entra ´ ˆınes pour entra ´ ˆıner un classificateur
a partir d’un ensemble de donn ` ees d’activit ´ e pour notre domaine de donn ´ ees. Notre deuxi ´ eme contribu- `
tion est une etude sur l’apprentissage de classifieurs en pr ´ esence de bruit d’ ´ etiquettes. Les contributions ´
suivantes portent sur la reconnaissance des visages. Nous proposons une nouvelle fonction de perte,
le Threshold-Softmax, visant a apprendre ` a partir d’ ` echantillons n ´ egatifs, c’est- ´ a-dire des visages dont `
l’identite n’est pas celle d’une des autres classes. Nous revenons de l’apprentissage m ´ etrique aux clas- ´
sificateurs standards et explorons quatre fonctions de perte pour exploiter davantage l’apprentissage
negatif, en utilisant un jeu de donn ´ ees de visages ´ etiquet ´ es avec leur identit ´ e, de personnes c ´ el´ ebres `
dans le domaine de notre client. Nous proposons egalement un mod ´ ele d’ ` echange de visages bas ´ e sur ´
le Vector-Quantized Variational Auto-Encoder (VQVAE), ainsi qu’un nouvel algorithme pour ameliorer ´
l’algorithme de quantification vectorielle. Enfin, nous utilisons l’historique de navigation des utilisateurs premium afin d’apprendre un systeme de recommandation bas ` e sur les m ´ etadonn ´ ees, visant ´ a`
attenuer le probl ´ eme du d ` emarrage ´ a froid pour les utilisateurs et les vid ` eos.
Origine | Fichiers produits par l'(les) auteur(s) |
---|