Au cours de la dernière décennie, deux injonctions se sont intensifiées au niveau du système scolaire français : utiliser davantage le numérique en classe d'une part, et développer « l'approche par compétences « d'autre part. Les tableaux de bord associés à des artefacts numériques ont été utilisés dans de nombreux contextes éducatifs, et se situent à la confluence de ces deux injonctions. Nous explorons au prisme de la théorie de l'activité d'Engeström les contradictions qu'induirait l'introduction d'un tel artefact dans les pratiques d'évaluation des compétences scolaires. La contribution est fondée sur une étude de cas, la conception d'une application numérique instrumentant la démarche d'investigation. Des entretiens collectifs fondés sur des maquettes sont menés avec un panel d'enseignants. Soit le coût temporel de l'appropriation du tableau de bord est jugé trop élevé pour permettre une application, soit il y a dévolution à l'artefact d'une partie trop importante du diagnostic, grâce à l'interopérabilité croissante entre outils d'évaluation. Aveugles aux caractéristiques des élèves et aux spécificités des situations didactiques, les applications risquent de produire des diagnostics aberrants.