Modeling uncertainty and inaccuracy on data from crowdsourcing platforms: MONITOR - Archive ouverte HAL
Communication Dans Un Congrès Année : 2019

Modeling uncertainty and inaccuracy on data from crowdsourcing platforms: MONITOR

Résumé

Crowdsourcing is characterized by the externaliza-tion of tasks to a crowd of workers. In some platforms the tasks are easy, open access and remunerated by micropayment. The crowd is very diversified due to the simplicity of the tasks, but the payment can attract malicious workers. It is essential to identify these malicious workers in order not to consider their answers. In addition, not all workers have the same qualification for a task, so it might be interesting to give more weight to those with more qualifications. In this paper we propose a new method for characterizing the profile of contributors and aggregating answers using the theory of belief functions to estimate uncertain and imprecise answers. In order to evaluate the contributor profile we consider both his qualification for the task and his behaviour during its achievement thanks to his reflection.
Le crowdsourcing se caractérise par l'externalisation de tâches à une foule de contributeurs. Sur certaines plateformes, les tâches sont simples, ouvertes à tous et rémunérées par micropaiement. La foule est très diversifiée en raison de la simplicité des tâches, mais le paiement peut attirer des contributeurs malveillants. Il est essentiel d'identifier ces contributeurs malveillants afin de ne pas prendre en compte leurs réponses. De plus, tous les contributeurs n'ont pas la même qualification pour une tâche, il peut donc être intéressant de donner plus de poids à ceux qui ont plus de qualifications. Dans cet article, nous proposons une nouvelle méthode pour caractériser le profil des contributeurs et agréger les réponses en utilisant la théorie des fonctions de croyance pour modéliser les réponses incertaines et imprécises. Afin d'évaluer le profil du contributeur, nous considérons à la fois sa qualification pour la tâche et son comportement lors de sa réalisation grâce à sa réflexion.
Fichier principal
Vignette du fichier
ICTAI_2019_paper_487.pdf (333.25 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-02359881 , version 1 (12-11-2019)

Identifiants

  • HAL Id : hal-02359881 , version 1

Citer

Constance Thierry, Jean-Christophe Dubois, Yolande Le Gall, Arnaud Martin. Modeling uncertainty and inaccuracy on data from crowdsourcing platforms: MONITOR. IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI'19), Nov 2019, Portland, United States. ⟨hal-02359881⟩
101 Consultations
150 Téléchargements

Partager

More