Modeling uncertainty and inaccuracy on data from crowdsourcing platforms: MONITOR
Résumé
Crowdsourcing is characterized by the externaliza-tion of tasks to a crowd of workers. In some platforms the tasks are easy, open access and remunerated by micropayment. The crowd is very diversified due to the simplicity of the tasks, but the payment can attract malicious workers. It is essential to identify these malicious workers in order not to consider their answers. In addition, not all workers have the same qualification for a task, so it might be interesting to give more weight to those with more qualifications. In this paper we propose a new method for characterizing the profile of contributors and aggregating answers using the theory of belief functions to estimate uncertain and imprecise answers. In order to evaluate the contributor profile we consider both his qualification for the task and his behaviour during its achievement thanks to his reflection.
Le crowdsourcing se caractérise par l'externalisation de tâches à une foule de contributeurs. Sur certaines plateformes, les tâches sont simples, ouvertes à tous et rémunérées par micropaiement. La foule est très diversifiée en raison de la simplicité des tâches, mais le paiement peut attirer des contributeurs malveillants. Il est essentiel d'identifier ces contributeurs malveillants afin de ne pas prendre en compte leurs réponses. De plus, tous les contributeurs n'ont pas la même qualification pour une tâche, il peut donc être intéressant de donner plus de poids à ceux qui ont plus de qualifications. Dans cet article, nous proposons une nouvelle méthode pour caractériser le profil des contributeurs et agréger les réponses en utilisant la théorie des fonctions de croyance pour modéliser les réponses incertaines et imprécises. Afin d'évaluer le profil du contributeur, nous considérons à la fois sa qualification pour la tâche et son comportement lors de sa réalisation grâce à sa réflexion.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...