<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of tel-04580396</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-24T19:06:22+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="en">Enhancing Teamwork in Multi-Robot Systems: Embodied Intelligence via Model- and Data-Driven Approaches</title>
            <title xml:lang="fr">Amélioration du travail d'équipe dans les systèmes multi-robots : Intelligence incarnée via des approches basées sur des modèles et des données</title>
            <author role="aut">
              <persName>
                <forename type="first">Esmaeil</forename>
                <surname>Seraj</surname>
              </persName>
              <email type="md5">4a890f9b37ae7b5cf7619c3fe548395b</email>
              <email type="domain">gmail.com</email>
              <idno type="idhal" notation="string">esmaeil-seraj</idno>
              <idno type="idhal" notation="numeric">10032</idno>
              <idno type="halauthorid" notation="string">31485-10032</idno>
              <idno type="GOOGLE SCHOLAR">https://scholar.google.com/citations?user=k0yj7xUAAAAJ&amp;hl=en&amp;oi=ao</idno>
              <idno type="IDREF">https://www.idref.fr/253130050</idno>
              <affiliation ref="#struct-301990"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>Esmaeil</forename>
                <surname>Seraj</surname>
              </persName>
              <email type="md5">4a890f9b37ae7b5cf7619c3fe548395b</email>
              <email type="domain">gmail.com</email>
            </editor>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2024-05-20 00:58:33</date>
              <date type="whenModified">2024-05-24 11:52:30</date>
              <date type="whenReleased">2024-05-24 11:52:30</date>
              <date type="whenProduced">2023-04-27</date>
              <date type="whenEndEmbargoed">2024-05-20</date>
              <ref type="file" target="https://hal.science/tel-04580396v1/document">
                <date notBefore="2024-05-20"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://hal.science/tel-04580396v1/file/EsmaeilSeraj_PhDThesis.pdf" id="file-4580396-3972869">
                <date notBefore="2024-05-20"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="443215">
                <persName>
                  <forename>Esmaeil</forename>
                  <surname>Seraj</surname>
                </persName>
                <email type="md5">4a890f9b37ae7b5cf7619c3fe548395b</email>
                <email type="domain">gmail.com</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">tel-04580396</idno>
            <idno type="halUri">https://hal.science/tel-04580396</idno>
            <idno type="halBibtex">seraj:tel-04580396</idno>
            <idno type="halRefHtml">Computer Science [cs]. Georgia Institute of Technology, USA; Georgia Institute of Technology, 2023. English. &lt;a target="_blank" href="https://www.theses.fr/"&gt;&amp;#x27E8;NNT : &amp;#x27E9;&lt;/a&gt;</idno>
            <idno type="halRef">Computer Science [cs]. Georgia Institute of Technology, USA; Georgia Institute of Technology, 2023. English. &amp;#x27E8;NNT : &amp;#x27E9;</idno>
            <availability status="restricted">
              <licence target="https://hal.science/licences/copyright/">Copyright - All rights reserved<ref corresp="#file-4580396-3972869"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt/>
          <notesStmt/>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="en">Enhancing Teamwork in Multi-Robot Systems: Embodied Intelligence via Model- and Data-Driven Approaches</title>
                <title xml:lang="fr">Amélioration du travail d'équipe dans les systèmes multi-robots : Intelligence incarnée via des approches basées sur des modèles et des données</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Esmaeil</forename>
                    <surname>Seraj</surname>
                  </persName>
                  <email type="md5">4a890f9b37ae7b5cf7619c3fe548395b</email>
                  <email type="domain">gmail.com</email>
                  <idno type="idhal" notation="string">esmaeil-seraj</idno>
                  <idno type="idhal" notation="numeric">10032</idno>
                  <idno type="halauthorid" notation="string">31485-10032</idno>
                  <idno type="GOOGLE SCHOLAR">https://scholar.google.com/citations?user=k0yj7xUAAAAJ&amp;hl=en&amp;oi=ao</idno>
                  <idno type="IDREF">https://www.idref.fr/253130050</idno>
                  <affiliation ref="#struct-301990"/>
                </author>
              </analytic>
              <monogr>
                <imprint>
                  <publisher>Unpublished</publisher>
                  <date type="dateDefended">2023-04-27</date>
                </imprint>
                <authority type="institution">Georgia Institute of Technology, USA</authority>
                <authority type="institution">Georgia Institute of Technology</authority>
                <authority type="school">Georgia Institute of Technology</authority>
                <authority type="supervisor">Matthew Gombolay</authority>
                <authority type="jury">Seth Hutchinson, Chaouki Abdallah, Harish Ravichandar, Marynel Vazquez</authority>
              </monogr>
              <idno type="doi">10.13140/RG.2.2.22005.38880</idno>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <keywords scheme="author">
                <term xml:lang="en">Emergent Communication</term>
                <term xml:lang="en">Multi-Agent Reinforcement Learning</term>
                <term xml:lang="en">Multi-robot Decentralized Control</term>
                <term xml:lang="en">Multi-robot cooperation</term>
                <term xml:lang="en">Multi-robot planning</term>
                <term xml:lang="en">Multi-Robot Coordination</term>
                <term xml:lang="en">Multi-Robot Systems</term>
                <term xml:lang="fr">Systèmes Multi-Robots</term>
                <term xml:lang="fr">Coordination Multi-Robots</term>
                <term xml:lang="fr">Communication Émergente</term>
                <term xml:lang="fr">Apprentissage par Renforcement Multi-Agent</term>
              </keywords>
              <classCode scheme="halDomain" n="info">Computer Science [cs]</classCode>
              <classCode scheme="halTypology" n="THESE">Theses</classCode>
              <classCode scheme="halOldTypology" n="THESE">Theses</classCode>
              <classCode scheme="halTreeTypology" n="THESE">Theses</classCode>
            </textClass>
            <abstract xml:lang="en">
              <p>High-performing human teams leverage intelligent and efficient communication and coordi- nation strategies to collaboratively maximize their joint utility. Inspired by teaming behaviors among humans, I seek to develop computational methods for synthesizing intelligent com- munication and coordination strategies for collaborative multi-robot systems. I leverage both classical model-based control and planning approaches as well as data-driven methods such as Multi-Agent Reinforcement Learning (MARL) and Learning from Demonstration (LfD) to provide several contributions towards enabling emergent cooperative teaming behavior across robot teams. In my thesis, I first leverage model-based methods for coordinated control and planning under uncertainty for multi-robot systems to study and develop techniques for efficiently incorporating environment models in multi-robot planning and decision making. In these contributions, I design centralized and decentralized coordination frameworks, at the control- input and the high-level planning stages, which are informed by and have access to the model of the world. First, I develop an algorithm for human-centered coordinated control of multi-robot networked systems in safety-critical applications. I tackle the problems of enabling a robot team to reason about a coordinated coverage plan through active state estimation and providing probabilistic guarantees for performance. I then extended these methods to directly formulate and account for heterogeneity in robots’ characteristics and capabilities. I design a hierarchical coordination framework, which enables a composite team of robots (i.e., including robots that can only sense and robots that can only manipulate the environment) to effectively collaborate on complex missions such as aerial wildfire fighting. Model-based approaches provide the ability to derive performance and stability guar- antees. However, can be sensitive to the accuracy of the model and the quality of the heuristic algorithm. As such, I leverage data-driven and Machine Learning (ML) approaches, such as MARL, to provide several contributions towards learning emergent cooperative behaviors. I design a graph-based architecture to learn efficient and diverse communication models for coordinating cooperative heterogeneous teams. Finally, inspired by the theory of mind in humans’ strategic decision-making model, I develop an iterative model to learn deep decision-rationalization for optimizing action selection in collaborative, decentralized teaming. In recent years, MARL has been predominantly used by researchers to optimize a reward signal and learning multi-robot tasks. Nevertheless, Reinforcement Learning (RL) generally suffers from key limitations such as the difficulty of designing an expressive and suitable reward function for complex tasks, and high sample complexity. As such, accurate models of human strategies and behaviors are increasingly important. Additionally, as multi-robot systems become increasingly prevalent in our communities and workplace, aligning the values motivating robot behaviors with human values is critical. LfD attempts to learn the correct behavior directly from expert-generated data demonstrations rather than a reward function. As such, in the last part of my work, I develop a multi-agent LfD framework to efficiently incorporate humans’ domain-knowledge of teaming strategies for collaborative robot teams and directly learn team coordination policies from human teachers. To this end, I propose Mixed-Initiative Multi-Agent Apprenticeship Learning (MixTURE) framework for human training of robot teams. MixTURE enables robot teams to learn a humans’ preferred strategy to collaborate, while simultaneously learning end-to-end emergent communication for the robot team to efficiently coordinate their actions, without the need for human generated data. MixTURE benefits from the merits of LfD methods over RL, while significantly alleviating the human demonstrators workload and time required to provide demonstrations, as well as increasing the System Usability Scale (SUS) and overall collaboration performance of the robot team.</p>
            </abstract>
            <abstract xml:lang="fr">
              <p>Les équipes humaines performantes exploitent des stratégies de communication et de coordination intelligentes et efficaces pour maximiser conjointement leur utilité. Inspiré par les comportements d'équipe chez les humains, je cherche à développer des méthodes computationnelles pour synthétiser des stratégies de communication et de coordination intelligentes pour les systèmes multi-robots collaboratifs. Je m'appuie à la fois sur des approches classiques de contrôle et de planification basées sur des modèles, ainsi que sur des méthodes basées sur les données telles que l'apprentissage par renforcement multi-agent (MARL) et l'apprentissage par démonstration (LfD) pour apporter plusieurs contributions à l'émergence de comportements coopératifs au sein des équipes de robots. Dans ma thèse, je commence par utiliser des méthodes basées sur des modèles pour le contrôle et la planification coordonnés sous incertitude pour les systèmes multi-robots, afin d'étudier et de développer des techniques pour intégrer efficacement les modèles de l'environnement dans la planification et la prise de décision multi-robots. Dans ces contributions, je conçois des cadres de coordination centralisés et décentralisés, aux niveaux de l'entrée de contrôle et de la planification de haut niveau, qui sont informés par et ont accès au modèle du monde. Tout d'abord, je développe un algorithme pour le contrôle coordonné centré sur l'humain des systèmes multi-robots en réseau dans des applications critiques pour la sécurité. Je traite les problèmes permettant à une équipe de robots de raisonner sur un plan de couverture coordonné par une estimation active de l'état et de fournir des garanties probabilistes de performance. J'ai ensuite étendu ces méthodes pour formuler directement et tenir compte de l'hétérogénéité des caractéristiques et des capacités des robots. Je conçois un cadre de coordination hiérarchique, qui permet à une équipe composite de robots (c'est-à-dire comprenant des robots qui ne peuvent que percevoir et des robots qui ne peuvent que manipuler l'environnement) de collaborer efficacement sur des missions complexes telles que la lutte contre les incendies aériens. Les approches basées sur des modèles permettent de dériver des garanties de performance et de stabilité. Cependant, elles peuvent être sensibles à l'exactitude du modèle et à la qualité de l'algorithme heuristique. C'est pourquoi je m'appuie sur des approches basées sur les données et l'apprentissage automatique (ML), telles que le MARL, pour apporter plusieurs contributions à l'apprentissage de comportements coopératifs émergents. Je conçois une architecture basée sur les graphes pour apprendre des modèles de communication efficaces et diversifiés pour coordonner des équipes hétérogènes coopératives. Enfin, inspiré par la théorie de l'esprit dans le modèle de prise de décision stratégique des humains, je développe un modèle itératif pour apprendre la rationalisation des décisions profondes afin d'optimiser la sélection des actions dans des équipes collaboratives décentralisées. Ces dernières années, le MARL a été principalement utilisé par les chercheurs pour optimiser un signal de récompense et apprendre des tâches multi-robots. Néanmoins, l'apprentissage par renforcement (RL) souffre généralement de limitations clés telles que la difficulté de concevoir une fonction de récompense expressive et adaptée pour des tâches complexes, et une grande complexité des échantillons. Ainsi, des modèles précis des stratégies et des comportements humains sont de plus en plus importants. De plus, à mesure que les systèmes multi-robots deviennent de plus en plus présents dans nos communautés et sur nos lieux de travail, aligner les valeurs motivant les comportements des robots avec les valeurs humaines est crucial. Le LfD tente d'apprendre le comportement correct directement à partir des démonstrations de données générées par des experts plutôt qu'à partir d'une fonction de récompense. Ainsi, dans la dernière partie de mon travail, je développe un cadre de LfD multi-agent pour intégrer efficacement les connaissances de domaine des humains sur les stratégies de coopération pour les équipes de robots collaboratifs et apprendre directement les politiques de coordination d'équipe à partir d'enseignants humains. À cette fin, je propose le cadre MixTURE (Mixed-Initiative Multi-Agent Apprenticeship Learning) pour la formation des équipes de robots par les humains. MixTURE permet aux équipes de robots d'apprendre une stratégie préférée par les humains pour collaborer, tout en apprenant simultanément une communication émergente de bout en bout pour que l'équipe de robots coordonne efficacement leurs actions, sans besoin de données générées par des humains. MixTURE bénéficie des mérites des méthodes LfD par rapport au RL, tout en allégeant considérablement la charge de travail et le temps requis des démonstrateurs humains pour fournir des démonstrations, ainsi qu'en augmentant l'échelle d'utilisabilité du système (SUS) et la performance globale de la collaboration de l'équipe de robots.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="institution" xml:id="struct-301990" status="VALID">
          <idno type="ROR">https://ror.org/01zkghx44</idno>
          <orgName>Georgia Institute of Technology [Atlanta]</orgName>
          <desc>
            <address>
              <addrLine>North Avenue, Atlanta, GA 30332</addrLine>
              <country key="US"/>
            </address>
            <ref type="url">http://www.gatech.edu/</ref>
          </desc>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>