Une mesure d'expertise pour le crowdsourcing
Résumé
Crowdsourcing, a major economic issue, is the fact that the firm outsources internal task to the crowd. It is a form of digital subcontracting for the general public.
The evaluation of the participants work quality is a major issue in crowdsourcing. Indeed, contributions must be controlled to ensure the effectiveness and relevance of the campaign. We are particularly interested in small, fast and not automatable tasks. Several methods have been proposed to solve this problem, but they are applicable when the "golden truth" is not always known. This work has the particularity to propose a method for calculating the degree of expertise in the presence of gold data in crowdsourcing. This method is based on the belief function theory and proposes a structuring of data using graphs. The proposed approach will be assessed and applied to the data.
Le crowdsourcing, un enjeu économique majeur, est le fait d'exter-naliser une tâche interne d'une entreprise vers le grand-public, la foule. C'est ainsi une forme de sous-traitance digitale destinée à toute personne susceptible de pouvoir réaliser la tâche demandée généralement rapide et non automatisable. L'évaluation de la qualité du travail des participants est cependant un problème majeur en crowdsourcing. En effet, les contributions doivent être contrôlées pour assurer l'efficacité et la pertinence d'une campagne. Plusieurs méthodes ont été proposées pour évaluer le niveau d'expertise des participants. Ce travail a la par-ticularité de proposer une méthode de calcul de degrés d'expertise en présence de données dont l'ordre de classement est connu. Les degrés d'expertise sont en-suite considérés sur des données sans ordre pré-établi. Cette méthode fondée sur la théorie des fonctions de croyance tient compte des incertitudes des réponses et est évaluée sur des données réelles d'une campagne réalisée en 2016.
Domaines
Intelligence artificielle [cs.AI]| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
Loading...