Aligned Contrastive Predictive Coding - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2021

Aligned Contrastive Predictive Coding

Jan Chorowski
  • Fonction : Auteur
  • PersonId : 1115299
Grzegorz Ciesielski
  • Fonction : Auteur
Jarosław Dzikowski
  • Fonction : Auteur
Adrian Łańcucki
  • Fonction : Auteur
Ricard Marxer
Mateusz Opala
  • Fonction : Auteur
Piotr Pusz
  • Fonction : Auteur
Paweł Rychlikowski
  • Fonction : Auteur
Michał Stypułkowski
  • Fonction : Auteur

Résumé

We investigate the possibility of forcing a self-supervised model trained using a contrastive predictive loss, to extract slowly varying latent representations. Rather than producing individual predictions for each of the future representations, the model emits a sequence of predictions shorter than the sequence of upcoming representations to which they will be aligned. In this way, the prediction network solves a simpler task of predicting the next symbols, but not their exact timing, while the encoding network is trained to produce piece-wise constant latent codes. We evaluate the model on a speech coding task and demonstrate that the proposed Aligned Contrastive Predictive Coding (ACPC) leads to higher linear phone prediction accuracy and lower ABX error rates, while being slightly faster to train due to the reduced number of prediction heads.
Fichier principal
Vignette du fichier
chorowski21b_interspeech.pdf (650.26 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03408618 , version 1 (03-11-2021)

Identifiants

Citer

Jan Chorowski, Grzegorz Ciesielski, Jarosław Dzikowski, Adrian Łańcucki, Ricard Marxer, et al.. Aligned Contrastive Predictive Coding. Interspeech 2021, Aug 2021, Brno, Czech Republic. pp.976-980, ⟨10.21437/interspeech.2021-1544⟩. ⟨hal-03408618⟩
50 Consultations
88 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More