Metrics : Mission Expérimentations - Archive ouverte HAL
Communication Dans Un Congrès Année : 2021

Metrics : Mission Expérimentations

Thibault Falque
Romain Wallon
Hugues Wattez

Résumé

Developing constraint solvers comes with the need to perform experiments, in order to evaluate the performance of the implemented features. For each considered solver, one needs to collect and analyze statistics about its execution which, most of the time, remain the same. However, there exist probably as many scripts allowing to extract such statistics and to draw the associated figures as researchers in the domain. A unifying tool making easier the analysis of experimental results seems thus required, especially to favor the sharing and the reproducibility of these results. Based on this observation, we have developed the Metrics library, whose ambition is to provide a complete toolchain designed in that purpose. In this paper, we present this library and illustrate its use through the analysis of the results of the XCSP'19 competition.
Le développement de solveurs de contraintes s'accompagne nécessairement d'une phase d'expérimentation, permettant d'évaluer les performances des fonctionnalités implantées. Pour chacun des solveurs considérés, il faut alors collecter et analyser des statistisques relatives à leur exécution et qui, le plus souvent, restent les mêmes. Néanmoins, il existe probablement autant de scripts permettant d'extraire ces statistiques et de tracer les figures associées que de chercheurs du domaine. Un outil unifiant et facilitant les analyses de résultats expérimentaux paraît donc nécessaire, notamment pour favoriser le partage et la reproductibilité de ces résultats. Partant de ce constat, nous avons développé la bibliothèque Metrics, dont l'ambition est de fournir une chaîne complète d'outils conçue dans cette optique. Dans cet article, nous présentons cette bibliothèque et illustrons son utilisation en rejouant l'analyse des résultats de la compétition XCSP'19.
Fichier principal
Vignette du fichier
JFPC_2021_G1.pdf (1.1 Mo) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03295285 , version 1 (21-07-2021)

Identifiants

  • HAL Id : hal-03295285 , version 1

Citer

Thibault Falque, Romain Wallon, Hugues Wattez. Metrics : Mission Expérimentations. 16es Journées Francophones de Programmation par Contraintes (JFPC’21), Jun 2021, Nice (en ligne), France. ⟨hal-03295285⟩
122 Consultations
85 Téléchargements

Partager

More