Trust assessment in large-scale collaborative systems - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2018

Trust assessment in large-scale collaborative systems

Évaluation de la confiance dans la collaboration à large échelle

Quang-Vinh Dang

Résumé

Large-scale collaborative systems wherein a large number of users collaborate to perform a shared task attract a lot of attention from both academic and industry. Trust is an important factor for the success of a large-scale collaboration. It is difficult for end-users to manually assess the trust level of each partner in this collaboration. We study the trust assessment problem and aim to design a computational trust model for collaborative systems. We focused on three research questions. - What is the effect of deploying a trust model and showing trust scores of partners to users? We designed and organized a user-experiment based on trust game, a well-known money-exchange lab-control protocol, wherein we introduced user trust scores. Our comprehensive analysis on user behavior proved that: (i) showing trust score to users encourages collaboration between them significantly at a similar level with showing nick-name, and (ii) users follow the trust score in decision-making. The results suggest that a trust model can be deployed in collaborative systems to assist users. - How to calculate trust score between users that experienced a collaboration? We designed a trust model for repeated trust game that computes user trust scores based on their past behavior. We validated our trust model against: (i) simulated data, (ii) human opinion, and (iii) real-world experimental data. We extended our trust model to Wikipedia based on user contributions to the quality of the edited Wikipedia articles. We proposed three machine learning approaches to assess the quality of Wikipedia articles: the first one based on random forest with manually-designed features while the other two ones based on deep learning methods. - How to predict trust relation between users that did not interact in the past? Given a network in which the links represent the trust/distrust relations between users, we aim to predict future relations. We proposed an algorithm that takes into account the established time information of the links in the network to predict future user trust/distrust relationships. Our algorithm outperforms state-of-the-art approaches on real-world signed directed social network datasets.
La collaboration, définie par Oxford Dictionary comme «l'acte de travailler avec une autre personne ou un groupe de personnes pour créer ou produire quelque chose», joue un rôle important dans la formation de la forme actuelle des sociétés humaines. Au 20ème siècle, la collaboration se forme généralement en petits groupes comptant moins de 20 membres. Cependant, au 21ème siècle, la collaboration à grande échelle est devenue de plus en plus populaire [Erickson and Gratton, 2007]. Il est courant qu'aujourd'hui les gens interagissent et collaborent avec d'autres personnes sur Internet. Ils pourraient ne pas se connaître dans la vraie vie. La confiance entre les utilisateurs est un facteur important pour le succès d'une collaboration. Un utilisateur peut vouloir collaborer uniquement avec qui il a confiance. Il est possible pour les utilisateurs d'évaluer manuellement le niveau de confiance de chaque partenaire dans une collaboration à petite échelle. Dans une collaboration à grande échelle où le nombre d'utilisateurs peut atteindre des milliers ou plus, l'évaluation manuelle n'est pas possible pour un utilisateur type. Plusieurs techniques sont utilisées pour aider les utilisateurs à évaluer le niveau de confiance de leurs partenaires. Le score de réputation, le surnom, l'avatar et la critique sont parmi eux. Cependant, des études de recherche ont mis en évidence plusieurs problèmes de ces techniques. Le score de réputation est vulnérable aux attaques de tiers, c'est-à-dire qu'un score de réputation est facile à manipuler par des actions de tiers. Le pseudo, l'avatar et la critique ne sont pas bien adaptés. Les utilisateurs doivent rappeler l'expérience qu'ils ont partagée avec un partenaire en fonction de l'avatar ou du surnom du partenaire, ce qui n'est pas facile à grande échelle. Score de confiance personnalisé peut surmonter la limitation des techniques ci-dessus. Un système de pointage de confiance personnalisé calcule le score de confiance d'un utilisateur sur un partenaire en fonction de son historique d'interaction, il n'est donc pas influencé par des tiers. En outre, un système de pointage de confiance personnalisé ne nécessite pas de serveur central et peut être déployé en mode distribué. Dans cette thèse, nous cherchons à proposer des mécanismes pour aider les utilisateurs à évaluer le niveau de confiance de leurs partenaires dans une collaboration à grande échelle. Nous distinguons deux types de partenaires: les partenaires qui ont interagi avec l'utilisateur et les partenaires qui ne l'ont pas fait. Pour le premier type de partenaires, nous avons présenté un modèle de confiance informatique qui calcule le score de confiance d'un utilisateur à un partenaire. Le modèle de confiance ne prend en compte que les informations pouvant être observées par l'utilisateur. Nous avons étudié l'effet de montrer le score de confiance dans le comportement de l'utilisateur. Nous avons évalué la performance du modèle de confiance en termes de prédiction du comportement futur des utilisateurs dans des expériences de jeu de confiance et sur Wikipédia. Pour le second type de partenaires, nous avons présenté un algorithme pour prédire les relations futures de confiance / méfiance entre les utilisateurs. Nous avons validé l'algorithme en utilisant des jeux de données Wikipedia réels par rapport aux algorithmes de pointe. Dans la suite, nous présentons plus en détail nos questions de recherche et les contributions de cette thèse. 1. Quel est l'effet du déploiement d'un modèle de confiance et des scores de confiance des partenaires pour les utilisateurs? Il y a encore des preuves que montrer le score de confiance aux utilisateurs a un effet sur le comportement de l'utilisateur, en particulier dans les contextes de collaboration. Dans la première partie de la thèse, nous étudions l'effet de l'affichage du score de confiance sur le comportement des utilisateurs dans des contextes de collaboration. Nous avons organisé une expérience utilisateur en utilisant un jeu de confiance répété [Berg, 1995] pour étudier l'effet de montrer le score de confiance au comportement de l'utilisateur. Nous avons recruté 30 utilisateurs et les avons divisés en 5 groupes pour jouer à des jeux de confiance répétés dans quatre conditions: (i) aucune information n'est montrée, (ii) pseudonyme est affiché, (iii) -Nom et score de confiance sont affichés. L'analyse complète du journal de comportement de l'utilisateur a affirmé que: (i) montrer le score de confiance aux utilisateurs encourage la collaboration entre eux significativement au même niveau avec le pseudonyme, et (ii) les utilisateurs suivent le score de confiance dans la prise de décision. L'analyse a également refusé tout effet de la conception répétée des facteurs qui pourrait affecter les décisions des utilisateurs. Les résultats suggèrent qu'un modèle de confiance peut être déployé dans des systèmes collaboratifs pour aider les utilisateurs. 2. Comment calculer le score de confiance entre les utilisateurs qui ont collaboré les uns avec les autres? Dans la première partie de la thèse, nous avons étudié l'effet de l'affichage du score de confiance auprès des utilisateurs. Dans la deuxième partie, nous étudions comment concevoir une méthode de calcul de confiance pour la collaboration. Nous avons présenté un modèle de confiance computationnelle pour deux contextes: (i) jeu de confiance répété, et (ii) Wikipedia. Le modèle de confiance ne prend en compte que les informations observées par un utilisateur pour calculer le score de confiance de ses partenaires. Par conséquent, un modèle de confiance peut être calculé localement par un utilisateur sans utiliser d'informations externes. Le modèle de confiance calcule le score de confiance d'un utilisateur sur un partenaire de manière dynamique. Il accumule le comportement du partenaire à l'utilisateur dans le temps et met à jour le score après chaque action. Le modèle de confiance favorise la stabilité et punit si le partenaire tente de dévier. À l'aide de données recueillies à partir de différentes expériences de jeux de confiance, nous avons validé le modèle de confiance par rapport à: (i) des données simulées, (ii) l'opinion humaine et (iii) des données expérimentales réelles. Les résultats ont affirmé que notre modèle de confiance peut mieux refléter le comportement d'un partenaire envers un utilisateur et peut mieux prédire le comportement futur du partenaire que les modèles de base. Par conséquent, un utilisateur peut compter sur le modèle de confiance pour évaluer le niveau de confiance d'un partenaire. Nous avons appliqué le modèle à un système collaboratif du monde réel, Wikipédia. Notre modèle prend en compte la qualité des articles de Wikipédia pour calculer la contribution de chaque utilisateur. La validation sur le jeu de données Wikipédia réel a affirmé que notre modèle prédit mieux la contribution future des utilisateurs de Wikipédia que les modèles de base. Pour utiliser le modèle de confiance dans Wikipedia, nous avons besoin de connaître la qualité des articles de Wikipédia. Nous avons présenté trois approches différentes pour évaluer automatiquement la classe de qualité des articles de Wikipédia. Dans la première approche, nous avons amélioré l'état de l'art en ajoutant des scores de lisibilité comme caractéristique pour un modèle de forêt aléatoire. Dans la seconde approche, nous avons utilisé Doc2Vec pour l'ingénierie automatique des fonctions et DNN pour la classification. Dans la troisième approche, nous avons utilisé RNN-LSTM pour prédire directement la classe de qualité à partir des données brutes. La dernière approche atteint la performance de prédiction la plus élevée, mais elle est beaucoup plus lente que la première approche. 3. Comment prédire la relation de confiance entre les utilisateurs qui n'ont pas interagi? Si deux utilisateurs n'interagissent pas entre eux, il n'y a pas de données pour calculer le score de confiance. Cependant, si les utilisateurs qui interagissent explicitement ont exprimé leurs relations de confiance / confiance entre eux et forment un réseau dirigé, nous pouvons prédire les signes des relations futures. Le problème est connu sous le nom de "prédiction de signe de liaison". Nous avons présenté une approche combinant Random Walk, Doc2Vec et RNN-LSTM pour étudier le problème. L'idée de l'approche est de considérer chaque lien établi par un utilisateur comme une étape faite par l'utilisateur dans le réseau des utilisateurs et la tâche est de prédire la propriété de l'étape suivante compte tenu de l'historique de l'utilisateur. Différent des approches existantes, notre approche peut être entraînée de manière incrémentielle pendant que le réseau change. De plus, notre approche ne nécessite que des informations locales mais pas des informations globales d'un réseau. L'approche est validée en utilisant des jeux de données du monde réel dans les graphiques statiques et dynamiques. Les expériences ont montré que l'approche atteint une meilleure précision que l'état de l'art avec un temps de fonctionnement plus court. Reference: [1] Berg, J., Dickhaut, J. and McCabe, K., 1995. Trust, reciprocity, and social history. Games and economic behavior, 10(1), pp.122-142. [2] Erickson, Tamara J and L Gratton (2007). “Eight ways to build collaborative teams”. In: Harvard Business Review 11, pp. 1–11.
Fichier principal
Vignette du fichier
thesis.pdf (3.07 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01634377 , version 1 (24-01-2018)
tel-01634377 , version 2 (25-01-2018)
tel-01634377 , version 3 (01-02-2018)

Identifiants

  • HAL Id : tel-01634377 , version 1

Citer

Quang-Vinh Dang. Trust assessment in large-scale collaborative systems. Computer Science [cs]. Universite de Lorraine, CNRS, Inria, LORIA, Nancy, France, 2018. English. ⟨NNT : ⟩. ⟨tel-01634377v1⟩
837 Consultations
935 Téléchargements

Partager

Gmail Facebook X LinkedIn More