Trusting Artificial Agents: Communication Trumps Performance
Confiance dans les agents artificiels : la communication l'emporte sur la performance
Résumé
Acceptability and trust toward an Artificial Agent (AA) are known to be strongly related to the transparency of its behavior. However, the opacity of the AI techniques implemented to drive the behavior of AAs is growing in parallel with their performance (performance/transparency trade-off). Thus, it is crucial and increasingly required to identify minimal and necessary information for achieving efficient human/AA interaction in order to include them as AAs' requirements at design stage. For this purpose, this paper proposes to bring knowledge and methods from domains accustomed to human behavior studies. Based on ergonomic and cognition literature, this paper tests through a user-study the hypothesis that sharing distal, proximal and motor intentions (what we call intention-based explanations) will improve the acceptability of an AA. The "Overcooked" task from Carroll and colleagues[3] - which requires coordination on goals and motor levels - is used as a test-bed for hypotheses manipulation. Our experimental work consisted in implementing a modified version of the task, analyzing 60 subjects performance, behaviors and feelings in two groups (control and hypothesis-testing) and having them filled an extensive survey. Half of them interact with an agent sharing its intentions while the other half stand in the control group without any information shared by the agent. The results show that intentions sharing leads to a greater acceptability - by means of delegation of control towards the AA - as well as trust. Critically, acceptability and trust seem to be decoupled from team performance. These results suggest the importance of intention-based explanations as a support for cooperation between the human operator and artificial agents. This work demonstrates the need to take into account human cognition when designing systems requiring acceptable and trustworthy AI techniques.
Il est aujourd'hui accepté que l'acceptabilité et la confiance envers un agent artificiel (AA) sont fortement liées à la transparence de son comportement. Cependant, l'opacité des techniques d'IA mises en œuvre pour piloter le comportement des AA augmente parallèlement à leur performance (compromis performance/transparence). Il est donc crucial et de plus en plus nécessaire d'identifier les informations minimales et nécessaires pour obtenir une interaction efficace entre l'homme et l'AA afin de les inclure dans les exigences des AA lors de leur conception. À cette fin, cet article propose d'apporter des connaissances et des méthodes issues de domaines habitués à l'étude du comportement humain. En se basant sur la littérature en ergonomie et en cognition, cet article teste à travers une étude utilisateur l'hypothèse selon laquelle le partage des intentions distales, proximales et motrices améliorera l'acceptabilité d'un AA. La tâche "Overcooked" de Carroll et ses collègues [2] - qui requiert une coordination au niveau des objectifs et de la motricité - est utilisée comme banc d'essai pour la manipulation des hypothèses. Notre travail expérimental a consisté à mettre en œuvre une version modifiée de la tâche, à analyser les performances, les comportements et l'expérience subjective de 60 sujets répartis en deux groupes (contrôle et test d'hypothèse). La moitié d'entre eux interagissent avec un agent qui partage ses intentions, tandis que l'autre moitié fait partie du groupe de contrôle sans aucune information partagée par l'agent. Les résultats montrent que le partage des intentions conduit à une plus grande acceptabilité - par le biais d'une délégation de contrôle vers l'AA - ainsi qu'à une plus grande confiance. De manière critique, l'acceptabilité et la confiance semblent être découplées de la performance de l'équipe. Ces résultats suggèrent l'importance de la communication des intentions comme support à la coopération entre l'opérateur humain et les agents artificiels. Ce travail démontre la nécessité de prendre en compte la cognition humaine lors de la conception de systèmes nécessitant des techniques d'IA acceptables et dignes de confiance.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|