Vous avez dit «outperform» ! En êtes-vous sûr ?
Résumé
La thématique de recherche traitant des Réseaux de capteurs sans fil fait l’objet de très nombreuses propositions pour améliorer l’accès au médium, le routage des données et réduire l’énergie consommée. Pour estimer le bien-fondé et les performances de ces propositions, des comparaisons sont souvent faites via un outil de simulation comme NS2/3, OPNET, …. Il est intéressant de constater que dans une multitude d’articles scientifiques traitant de cette recherche on peut lire dans la conclusion des variantes de « our proposed protocol outperforms…. »
Cette conclusion est utilisée même si les simulations nous donnent un gain de quelques pourcents.
Sans être fausse, cette formulation mérite d’être interprétée. Dans cette contribution nous allons montrer par une comparaison de deux protocoles MAC, que le choix des paramètres de simulation peut avoir une influence nettement plus forte qu’un gain de quelques pourcents. Ces deux protocoles ont été choisis de façon à ce que par intuition, on sache que l’un surpasse (outperforms) l’autre sans ambiguïté.
Ainsi, nous allons nous attacher à démontrer que le mot « surpasse » est très dépendant des conditions de simulations qui ne sont que très rarement précisées dans les articles. S’agissant de comparer des protocoles MAC, nous avons retenu trois paramètres qui influent grandement sur les résultats de cette comparaison : la topologie, le seuil de capture ainsi que le modèle de propagation. Pour ce dernier paramètre, nous nous orientons vers le modèle shadowing et choisissons plus particulièrement de fournir une comparaison en fonction de l’écart type. Cette analyse nous permet de suggérer qu’il serait plus judicieux de conclure par « our proposed protocol outperforms ….for the simulation set precisely defined in part xx of this contribution… » De plus, si les conditions de simulation sont spécifiées de façon complète, elles rendront plus faciles et plus justes les résultats de comparaisons avec d’autres protocoles.