Metrics : Mission Expérimentations
Résumé
Developing constraint solvers comes with the need to perform experiments, in order to evaluate the performance of the implemented features. For each considered solver, one needs to collect and analyze statistics about its execution which, most of the time, remain the same. However, there exist probably as many scripts allowing to extract such statistics and to draw the associated figures as researchers in the domain. A unifying tool making easier the analysis of experimental results seems thus required, especially to favor the sharing and the reproducibility of these results. Based on this observation, we have developed the Metrics library, whose ambition is to provide a complete toolchain designed in that purpose. In this paper, we present this library and illustrate its use through the analysis of the results of the XCSP'19 competition.
Le développement de solveurs de contraintes s'accompagne nécessairement d'une phase d'expérimentation, permettant d'évaluer les performances des fonctionnalités implantées. Pour chacun des solveurs considérés, il faut alors collecter et analyser des statistisques relatives à leur exécution et qui, le plus souvent, restent les mêmes. Néanmoins, il existe probablement autant de scripts permettant d'extraire ces statistiques et de tracer les figures associées que de chercheurs du domaine. Un outil unifiant et facilitant les analyses de résultats expérimentaux paraît donc nécessaire, notamment pour favoriser le partage et la reproductibilité de ces résultats. Partant de ce constat, nous avons développé la bibliothèque Metrics, dont l'ambition est de fournir une chaîne complète d'outils conçue dans cette optique. Dans cet article, nous présentons cette bibliothèque et illustrons son utilisation en rejouant l'analyse des résultats de la compétition XCSP'19.
Domaines
Intelligence artificielle [cs.AI]| Origine | Fichiers éditeurs autorisés sur une archive ouverte |
|---|