Les mesures d’accord inter-annotateurs sont essentielles pour évaluer la qualité des annotations humaines sur les corpus. Dans le cadre des structures relationnelles, la question de la qualité et de l’interprétabilité de ces mesures reste cependant ouverte. Cet article présente l’adaptation d’un outil déjà utilisé pour d’autres paradigmes d’annotation dont le but est de générer de manière contrôlée des annotations artificielles erronées. Les annotations obtenues sont fournies à des mesures d’accord adaptées aux structures relationnelles, permettant l’identification des comportements des mesures ainsi que les différences entre elles.