Learning for new generation video coders - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2023

Learning for new generation video coders

Apprentissage pour l'encodage vidéo nouvelle génération

Résumé

Video encoding with the latest video codec Versatile Video Coding (VVC) requires significant computational resources. Despite its impact on the overall encoding time, few studies focus on accelerating inter-frame encoding. This thesis, therefore, targets this topic by proposing fast partitioning approaches. Our first contribution involves utilizing a lightweight CNN to reduce the search space of partitioning. By predicting the QT depth map, this CNN allows us to prune the search space of the MT partitions. Experiments show that this work can reduce complexity by a third, with slight coding loss. In the second part, we intend to improve the first contribution by proposing a novel CNN structure associated with an acceleration algorithm. The QT depth map and the MT decisions are predicted simultaneously, further reducing the search space. The trade-off between efficiency and encoding acceleration of our method outperforms the stat of the art. In the final part, we propose a multi-rate fast partitioning process for streaming scenar- ios. Partition data collected from low-bitrate encodings are leveraged to accelerate high- bitrate encodings. 40% reduction in complexity is achieved by applying our approach to the VVenc encoder, with a reasonable loss.
L’encodage vidéo avec le dernier codec Versatile Video Coding (VVC) requiert d’importantes ressources de calcul. Malgré son impact sur le temps d’encodage global, peu d’études portent sur l’accélération de l’encodage inter. Cette thèse se concentre ainsi sur ce sujet, en proposant des approches de partitionnement rapide. Notre première contribution consiste à utiliser un CNN léger pour réduire l’espace de recherche de partitionnement. En estimant la carte de profondeur des décisions de partitionnement QT, ce CNN nous permet d’élaguer l’espace de recherche de l’arbre MT initial. Les expériences montrent que ce travail peut réduire d’un tiers la complexité, pour une perte légère en efficacité de codage. Dans la deuxième partie, nous améliorons la première contribution en proposant une nouvelle structure CNN associé à un algorithme d’accélération. La carte de profondeur QT et les décisions MT sont prédites simultanément, réduisant davantage l’espace de re- cherche. Le compromis efficacité et accélération d’encodage obtenu surpasse l’état de l’art. Dans la dernière partie, nous proposons une méthode de partitionnement rapide multi- débit pour les scénarios de streaming. Les données collectées à partir d’encodages à bas débits sont exploités pour accélérer les encodages à débits supérieurs. 40% de la complexité est reduite en appliquant notre approche à l’encodeur VVenc, avec une perte raisonnable.
Fichier principal
Vignette du fichier
Yiqun_LIU_PHD_manuscript_final_version.pdf (5.13 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04364408 , version 1 (27-12-2023)

Licence

Paternité

Identifiants

  • HAL Id : tel-04364408 , version 1

Citer

Yiqun Liu. Learning for new generation video coders: Complexity Reduction of Inter coding for VVC Codec. Multimedia [cs.MM]. Inria Rennes - Bretagne Atlantique & IRISA, 2023. English. ⟨NNT : ⟩. ⟨tel-04364408⟩
43 Consultations
23 Téléchargements

Partager

Gmail Facebook X LinkedIn More