Modeling quality of experience of internet video streaming by controlled experimentation and machine learning
Modélisation de la qualité d'expérience de la vidéo streaming dans l'internet par expérimentation contrôlée et apprentissage machine
Résumé
Video streaming is the dominant contributor of today's Internet traffic. Consequently, estimating Quality of Experience (QoE) for video streaming is of paramount importance for network operators. The QoE of video streaming is directly dependent on the network conditions (e.g., bandwidth, delay, packet loss rate) referred to as the network Quality of Service (QoS). This inherent relationship between the QoS and the QoE motivates the use of supervised Machine Learning (ML) to build models that map the network QoS to the video QoE. In most ML works on QoE modeling, the training data is usually gathered in the wild by crowdsourcing or generated inside the service provider networks. However, such data is not easily accessible to the general research community. Consequently, the training data if not available beforehand, needs to be built up by controlled experimentation. Here, the target application is run under emulated network environments to build models that predict video QoE from network QoS. The network QoS can be actively measured outside the data plane of the application (outband), or measured passively from the video traffic (inband). These two distinct types of QoS correspond to the use cases of QoE forecasting (from end user devices) and QoE monitoring (from within the networks). In this thesis, we consider the challenges associated with network QoS-QoE modeling, which are 1) the large training cost of QoE modeling by controlled experimentation, and 2) the accurate prediction of QoE considering the large diversity of video contents and the encryption deployed by today's content providers. Firstly, QoE modeling by controlled experimentation is challenging due to the high training cost involved as each experiment usually consumes some non-negligible time to complete and the experimental space to cover is large (power the number of QoS features). The conventional approach is to experiment with QoS samples uniformly sampled in the entire experimental space. However, uniform sampling can result in significant similarity in the output labels, which increases the training cost while not providing much gain in the model accuracy. To tackle this problem, we advocate the use of active learning to reduce the number of experiments while not impacting accuracy. We consider the case of YouTube QoE modeling and show that active sampling provides a significant gain over uniform sampling in terms of achieving higher modeling accuracy with fewer experiments. We further evaluate our approach with synthetic datasets and show that the gain is dependent on the complexity of the experimental space. Overall, we present a sampling approach that is general and can be used in any QoSQoE modeling scenario provided that the input QoS features are fully controllable. Secondly, accurate prediction of QoE of video streaming can be challenging as videos offered by today's content providers vary significantly from fast motion sports videos to static lectures. On top of that, today's video traffic is encrypted, which means that network operators have little visibility into the video traffic making QoE monitoring difficult. Considering these challenges, we devise models that aim at accurate forecasting and monitoring of video QoE. For the scenario of QoE forecasting, we build a QoE indicator called YouScore that quantifies the percentage of videos in the catalog of a content provider that may play out smoothly (without interruptions) for a given outband network QoS. For the QoE monitoring scenario, we estimate the QoE using the inband QoS features obtained from the encrypted video traffic. Overall, for both scenarios (forecasting and monitoring), we highlight the importance of using features that characterize the video content to improve the accuracy of QoE modeling.
Le streaming vidéo est l'élément dominant au trafic Internet actuel. En conséquence, l'estimation de la qualité d'expérience (QoE) pour le streaming vidéo est de plus en plus importante pour les opérateurs réseau. La qualité d'expérience (QoE) de la diffusion vidéo sur Internet est directement liée aux conditions du réseau (par exemple, bande passante, délai) également appelée qualité de service (QoS). Cette relation entre QoS et QoE motive l'utilisation de l'apprentissage automatique supervisé pour établir des modèles reliant QoS à QoE. La QoS du réseau peut être mesurée activement en dehors du plan de données de l'application (outband) ou de manière passive à partir du trafic vidéo (inband). Ces deux types de qualité de service correspondent à deux scénarios d'utilisation différents : la prévision et la surveillance. Dans cette thèse, nous examinons les défis associés à la modélisation de la QoE à partir de la QoS réseau, à savoir 1) le coût élevé de la phase expérimentale, et 2) la considération de la grande diversité du contenu vidéo et du chiffrement déployé. Premièrement, la modélisation de la QoE par expérimentation contrôlée constitue un défi, les dimensions d'espace d'expérimentations ainsi que le temps non négligeable de chaque expérience rend cette modélisation plus complexe. L'approche classique consiste à expérimenter avec des échantillons (de qualité de service), échantillonnés de manière uniforme dans tout l'espace expérimental. Cependant, un échantillonnage uniforme peut entraîner une similarité significative au niveau des labels, ce qui entraine une augmentation du coût sans gain en précision du modèle. Pour résoudre ce problème, nous recommandons d'utiliser apprentissage actif pour réduire le nombre d'expériences sans affecter la précision. Nous examinons le cas de la modélisation QoE sur YouTube et montrons que l'échantillonnage actif fournit un gain significatif par rapport à l'échantillonnage uniforme en termes d'augmentation de la précision de la modélisation en moins d'expériences. Nous évaluons ensuite notre approche avec des ensembles de données synthétiques et montrons que le gain dépend de la complexité de l'espace expérimental. Dans l'ensemble, nous présentons une approche générale d'échantillonnage qui peut être utilisée dans n'importe quel scénario de modélisation QoS-QoE, à condition que la fonctionnalité de QoS en entrée soit entièrement contrôlable. Deuxièmement, prévoir la qualité de l'expérience de la vidéo avec précision s'avère difficile, d'une part les vidéos des fournisseurs de contenu actuels varient énormément, des vidéos sportives rapides aux vidéos éducatives statiques. De plus, le trafic vidéo actuel est crypté, ce qui signifie que les opérateurs de réseau ont une visibilité réduite sur le trafic vidéo, ce qui rend la surveillance de la QoE plus complexe. Face à ces défis, nous développons des modèles afin de prévoir ainsi que surveiller avec précision la qualité de l'expérience vidéo. Pour le scénario de prévision QoE, nous construisons un indicateur QoE appelé YouScore qui prédit le pourcentage de vidéos pouvant être lues sans interruption en fonction de l'état du réseau sous-jacent. En ce qui concerne la surveillance QoE, nous estimons la QoE à l'aide des fonctionnalités de qualité de service inband obtenues à partir du trafic vidéo crypté. En conclusion, pour les deux scénarios (prévision et surveillance), nous soulignons l'importance d'utiliser des fonctionnalités qui caractérisent le contenu vidéo afin de pouvoir améliorer la précision des modèles.
| Origine | Version validée par le jury (STAR) |
|---|
Loading...