Quantifying and Leveraging Uncertain and Imprecise Answers in Multiple Choice Questionnaires for Crowdsourcing - Archive ouverte HAL Access content directly
Conference Papers Year : 2024

Quantifying and Leveraging Uncertain and Imprecise Answers in Multiple Choice Questionnaires for Crowdsourcing

Quantifier et exploiter des réponses incertaines et imprécises dans des questionnaires à choix multiples pour le crowdsourcing

Abstract

Questionnaires are efficient for collecting numerous user feedback. However, the reliability of results is a major issue, even with honest participants. Indeed, they face situations of doubt, and usually do not have the option to express their hesitations. We describe a user study in which we provide participants with the possibility to give 1) a certitude rate 2) imprecise answers, 3) both a certitude rate and imprecise answers. Firstly, we observe that contributors express their hesitations consistently: there is a correlation between the task difficulty on the one hand, and the uncertainty and imprecision of the answer, on the other hand. Secondly, our results demonstrate the effectiveness of the decision-making process by using this additional information with the belief functions theory. Indeed, this process helps to reduce the error rate and fewer participants are required to reach a satisfactory correct answers rate.
Les questionnaires sont utiles pour le recueil de retours utilisateurs. Cependant, la fiabilité des résultats est un problème majeur, même avec des participants honnêtes. Les contributeurs confrontés à des situations d’indécision n’ont généralement pas la possibilité d’exprimer leurs hésitations. Nous décrivons une étude utilisateur dans laquelle nous donnons aux participants la possibilité de donner 1) un degré d’incertitude, 2) des réponses imprécises, 3) à la fois un degré d’incertitude et des réponses imprécises. Nous observons que les contributeurs expriment leurs hésitations de manière cohérente : il existe une corrélation entre la difficulté de la tâche, l’incertitude et l’imprécision de la réponse. Nos résultats démontrent l’efficacité du processus de prise de décision en utilisant cette information supplémentaire avec la théorie des fonctions de croyance. Nous réduisons le taux d’erreur grâce à cette analyse et nous montrons que moins de participants sont nécessaires pour atteindre un taux satisfaisant de réponses correctes.
Fichier principal
Vignette du fichier
thierry24.pdf (997.38 Ko) Télécharger le fichier
Origin : Files produced by the author(s)
Licence : Copyright

Dates and versions

hal-04450130 , version 1 (09-02-2024)
hal-04450130 , version 2 (05-03-2024)

Identifiers

  • HAL Id : hal-04450130 , version 2

Cite

Constance Thierry, Géry Casiez, Jean-Christophe Dubois, Yolande Le Gall, Sylvain Malacria, et al.. Quantifying and Leveraging Uncertain and Imprecise Answers in Multiple Choice Questionnaires for Crowdsourcing. Proceedings of the AFIHM Conférence Francophone sur l’interaction Homme-Machine (IHM 2024),, Mar 2024, Paris, France. ⟨hal-04450130v2⟩
49 View
23 Download

Share

Gmail Facebook X LinkedIn More