Quantifying and Leveraging Uncertain and Imprecise Answers in Multiple Choice Questionnaires for Crowdsourcing
Quantifier et exploiter des réponses incertaines et imprécises dans des questionnaires à choix multiples pour le crowdsourcing
Résumé
Questionnaires are efficient for collecting numerous user feedback. However, the reliability of results is a major issue, even with honest participants. Indeed, they face situations of doubt, and usually do not have the option to express their hesitations. We describe a user study in which we provide participants with the possibility to give 1) a certitude rate 2) imprecise answers, 3) both a certitude rate and imprecise answers. Firstly, we observe that contributors express their hesitations consistently: there is a correlation between the task difficulty on the one hand, and the uncertainty and imprecision of the answer, on the other hand. Secondly, our results demonstrate the effectiveness of the decision-making process by using this additional information with the belief functions theory. Indeed, this process helps to reduce the error rate and fewer participants are required to reach a satisfactory correct answers rate.
Les questionnaires sont utiles pour le recueil de retours utilisateurs. Cependant, la fiabilité des résultats est un problème majeur, même avec des participants honnêtes. Les contributeurs confrontés à des situations d’indécision n’ont généralement pas la possibilité d’exprimer leurs hésitations. Nous décrivons une étude utilisateur dans laquelle nous donnons aux participants la possibilité de donner 1) un degré d’incertitude, 2) des réponses imprécises, 3) à la fois un degré d’incertitude et des réponses imprécises. Nous observons que les contributeurs expriment leurs hésitations de manière cohérente : il existe une corrélation entre la difficulté de la tâche, l’incertitude et l’imprécision de la réponse. Nos résultats démontrent l’efficacité du processus de prise de décision en utilisant cette information supplémentaire avec la théorie des fonctions de croyance. Nous réduisons le taux d’erreur grâce à cette analyse et nous montrons que moins de participants sont nécessaires pour atteindre un taux satisfaisant de réponses correctes.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|