Towards hybrid approaches based on emergence and learning : considering autonomous vehicles in traffic
Vers des approches hybrides fondées sur l'émergence et l'apprentissage : prise en compte des véhicules autonomes dans le trafic
Résumé
According to the World Health Organization, road accidents cause almost 1.2 million deaths and 40 million injuries each year. In wealthy countries, safety standards prevent a large proportion of accidents. The remaining accidents are caused by human behavior. For this reason, some are planning to automate road traffic, i.e., to replace humans as drivers of their vehicles. However, automating road traffic can hardly be achieved overnight. Thus, driving robots (DRs) and human drivers could cohabit in mixed traffic. Our thesis focuses on the safety issues that may arise due to behavioral differences between DRs and human drivers. DRs are designed to respect formal norms, those of the Highway Code. Human drivers, on the other hand, are opportunistic, not hesitating to break formal norms and adopt new, informal ones. The emergence of new behaviors in traffic can make it more heterogeneous and encourage accidents caused by misinterpretation of these new behaviors. We believe that minimizing this behavioral heterogeneity would reduce the above risks. Therefore, our thesis proposes a decision-making model of DR whose behavior is intended to be close to non-hazardous human practices, in order to minimize the heterogeneity between RC and human driver behavior, and with the aim of promoting their acceptance by the latter. To achieve this, we will adopt a multidisciplinary approach, inspired by studies in driving psychology and combining traffic simulation, multi-agent reinforcement learning (MARL). MARL consists of learning a behavior by trial and error guided by a utility function. Thanks to its ability to generalize, especially via neural networks, MARL can be adapted to any environment, including traffic. We will use it to teach our decision model robust behavior in the face of the diversity of traffic situations. To avoid incidents, DR manufacturers could design relatively homogeneous and defensive behaviors rather than opportunistic ones. However, this approach risks making DRs predictable and, therefore, vulnerable to opportunistic behavior by human drivers. The consequences could then be detrimental to both traffic fluidity and safety. Our first contribution aims at reproducing heterogeneous traffic, i.e., where each vehicle exhibits a unique behavior. We assume that by making the behavior of DRs heterogeneous, their predictability will be reduced and opportunistic human drivers will be less able to anticipate their actions. Therefore, this paradigm considers the behavioral heterogeneity of DRs as a critical feature for the safety and fluidity of mixed traffic. In an experimental phase, we will demonstrate the ability of our model to produce heterogeneous behavior while meeting some of the challenges of MARL. Our second contribution will be the integration of informal norms into the decision processes of our DR decision model. We will focus exclusively on integrating the notion of social orientation value, which describes individuals' social behaviors such as altruism or selfishness. Starting with a highway merging scenario, we will evaluate the impact of social orientation on the fluidity and safety of merging vehicles. We will show that altruism can improve safety, but that its actual impact is highly dependent on traffic density.
Selon l'Organisation mondiale de la santé, les accidents de la route causent près de 1,2 million de décès et 40 millions de blessés chaque année. Dans les pays riches, des normes de sécurité permettent de prévenir une grande partie des accidents. Les accidents restants trouvent leur cause dans le comportement humain.Ainsi, certains envisagent d'automatiser le trafic, c'est-à-dire de substituer aux humains la conduite de leurs véhicules. Cependant, l'automatisation du trafic routier peut difficilement s'effectuer du jour au lendemain. Ainsi, robots de conduite (RC) et conducteurs humains pourraient cohabiter dans un trafic mixte. Notre thèse se concentre sur les problèmes sécuritaires qui pourraient émerger en raison des différences comportementales entre les RC et les conducteurs humains. Les RC sont conçus pour respecter les normes formelles, celles du Code de la route. En revanche, les conducteurs humains sont opportunistes et n'hésitent pas à enfreindre les normes formelles et à en adopter de nouvelles, informelles. L'apparition dans le trafic de nouveaux comportements risque de le rendre plus hétérogène et de favoriser la survenue d'accidents ayant pour cause une mauvaise interprétation de ces nouveaux comportements. Nous pensons que minimiser cette hétérogénéité comportementale permettrait de diminuer les risques susmentionnés. Ainsi, notre thèse propose un modèle décisionnel de RC dont le comportement se veut proche des pratiques humaines non dangereuses, ceci afin de minimiser l'hétérogénéité entre les comportements des RC et des conducteurs humains et dans le but de favoriser leur acceptation par ces derniers. Pour y parvenir, nous adopterons une approche pluridisciplinaire, inspirée par des études de psychologie de la conduite et mêlant simulation de trafic et apprentissage par renforcement multiagent (MARL). MARL consiste à apprendre un comportement par essai-erreur guidé par une fonction d'utilité. Grâce à sa capacité de généralisation, notamment grâce aux réseaux de neurones, MARL s'adapte à tout type d'environnement, incluant donc le trafic. Nous l'emploierons pour apprendre à notre modèle décisionnel des comportements robustes face à la diversité des situations que comporte le trafic. Pour éviter les incidents, les constructeurs de RC pourraient concevoir des comportements relativement homogènes et défensifs plutôt qu'opportunistes. Or, cette approche risque de rendre les RC prévisibles et donc vulnérables face à des comportements opportunistes de conducteurs humains. Les conséquences pourraient alors être néfastes tant pour la fluidité que la sécurité du trafic. Notre première contribution vise à reproduire un trafic hétérogène, c'est-à-dire où chaque véhicule adopte un comportement unique. Nous partons de l'hypothèse qu'en rendant le comportement des RC hétérogène, leur prévisibilité sera réduite et les conducteurs humains opportunistes pourront moins anticiper leurs actions. Ce paradigme considère donc l'hétérogénéité comportementale des RC comme une caractéristique cruciale pour la sécurité et pour la fluidité d'un trafic mixte. Dans une phase expérimentale, nous montrerons la capacité de notre modèle à produire des comportements hétérogènes tout en relevant certains défis MARL. Notre seconde contribution consistera à intégrer des normes informelles aux processus décisionnels de notre modèle décisionnel de RC. Nous nous concentrerons exclusivement sur l'intégration de la notion de valeur d'orientation sociale qui décrit les comportements sociaux des individus tels que l'altruisme ou l'égoïsme. Partant d'un scénario d'insertion sur autoroute, nous évaluerons l'impact de l'orientation sociale sur la fluidité et la sécurité des véhicules qui s'insèrent. Nous montrerons que l'altruisme permet d'améliorer la sécurité, mais que son impact réel dépend essentiellement de la densité du trafic.
| Origine | Version validée par le jury (STAR) |
|---|