Cette contribution présente comment une instance d’évaluation d’un programme d’aide à la réussite étudiante s’est construite durant quatre ans. Il retrace le cas du comité scientifique et d’évaluation d’un projet pédagogique pluri-établissements démarré en 2018 dans le cadre du programme NCU-ANR-PIA d’une durée de 10 ans. Elle raconte les différents pas de la mise en place d’une évaluation instituée structurée par les statuts de ses membres, par l’adhésion à des principes sous-jacents inspirés de Thélot (2008) et inspirée par la recherche en évaluation et pas seulement par les demandes et évaluations spontanées. Elle précise les modalités de construction du jugement de l’évaluation par cette instance qui au croisement de l’évaluation externe et interne accompagne les acteurs pour le pilotage du projet et de ses différentes actions. A travers ce récit de pratique, nous proposons une analyse critique de la mise en place d’un tel comité, interrogeant les postures à adopter dans cette démarche d’évaluation ainsi que les dynamiques permettant sa bonne mise en œuvre.