En nous appuyant sur la mise en oeuvre d’un dispositif d’évaluation des connaissances des élèves en fin de CP, nous abordons des questions relatives à la conception d’une évaluation et les considérons dans un cadre didactique. Initialement définies en théorie des tests, les conditions de pertinence, validité et fiabilité sont ici réinterprétées et nous montrons la façon dont nous les avons considérées pour concevoir notre dispositif d’évaluation. En lien avec les conditions de validité et l’interprétation des réponses des élèves, nous illustrons ensuite sur une tâche de dénombrement l’intérêt de considérer un cadre d’analyse didactique pour interpréter des productions d’élèves. Enfin, la présentation du dispositif d’évaluation dans sa globalité, à travers les tâches proposées et les conditions de passation, permet de soulever divers points de vigilance quant à sa mise en oeuvre, tels que la passation des consignes, l’influence des conditions passations sur l’activité de l’élève, la formation des évaluateurs au codage des productions, etc. Nous proposons le nouveau label « tâches d’évaluation robustes » pour prendre en compte ces différentes dimensions.