La production de données annotées est critique pour l’élaboration de nombreux systèmes de TAL, avec des problèmes liés à l’expertise des annotateurs et à l’organisation de leur travail dans l’optique d’obtenir des annotations de qualité. Nous évaluons l’impact de techniques d’assistance non supervisées pour la catégorisation manuelle de textes, lors de trois campagnes d’annotation d’articles journalistiques impliquant une vingtaine d’annotateurs à travers trois langues, l’hindi, le mandarin et l’arabe. Cette évaluation est quantitative, considérant le niveau de qualité ainsi que la vitesse de l’annotation, et qualitative en intégrant les retours d’expérience des annotateurs. Elle a permis la mise en œuvre innovante d’assistances basées sur des combinaisons d’approches standards et nouvelles ainsi que d’éprouver une méthode pour l'encadrement de campagnes d'annotation multi-annotateurs.