Régulièrement, le Ministère de l’Éducation Nationale communique des résultats d’évaluations menées à grande échelle sur les connaissances des élèves à différents niveaux, dans différentes disciplines ; qu’il s’agisse des évaluations bilans fin d’école et fin de collège ou de l’évaluation PISA pour ne citer que ces exemples, les résultats communiqués rendent compte de performances d’élèves, constitués en groupes à partir d’échelles de compétences statistiquement établies. Ces évaluations bilans sont rarement décrites en termes de contenu ou de connaissances spécifiques dans la discipline concernée or il nous paraît indispensable et nécessaire d’étudier cet aspect des évaluations pour garantir de la validité des inférences faites à partir des résultats et interroger ces derniers. La recherche que nous présentons se propose d’analyser le contenu d’une de ces évaluations externes : le bilan CEDRE 2008 de fin de CM2 (élèves âgés de 10-11 ans) en mathématiques. Nous rendrons compte de l’utilisation d’un outil d’analyse d’items conçu à partir de notions émanant de travaux menés en didactique des mathématiques, permettant d’analyser les exercices proposés et d’interroger les connaissances effectivement évaluées dans deux domaines : « fractions et décimaux » et « grandeurs et mesures ». Nous donnerons également quelques pistes pour concevoir une évaluation plus équilibrée du point de vue des compétences et des connaissances à évaluer