En 2019, les élèves scolarisés en CM1 en France ont obtenu de très faibles scores à l’enquête TIMSS, évaluation internationale des acquis des élèves menée par l’International Association for Evaluation of Educational Achievement (IEA). Différentes études, mobilisant différentes approches, ont été menées sur ces résultats sans conduire à des explications suffisantes. Nous proposons ici, par une analyse didactique a priori de questions évaluatives, de comparer l’évaluation de l’IEA et ce qui est proposé par les manuels scolaires les plus diffusés sur le territoire national. Notre étude, portant sur l’intégralité des exercices proposés dans les rubriques « évaluation » de ces manuels, conduit à mesurer la familiarité des élèves avec les items du questionnaire TIMSS. L’introduction de cette notion de familiarité révèle des écarts importants entre les items TIMSS et les questions évaluatives des manuels scolaires ; elle permet également une amélioration significative de la qualité du modèle statistique expliquant les scores des élèves scolarisés en France en se basant uniquement sur les caractéristiques intrinsèques des items.