Graph-based learning and optimization - Laboratoire Interdisciplinaire des Sciences du Numérique
Thèse Année : 2024

Graph-based learning and optimization

Apprentissage et optimisation sur les graphes

Résumé

Graphs are a fundamental data structure used to represent complex patterns in various domains. Graph Neural Networks (GNNs), a deep learning paradigm specifically designed for graph-structured data, offer a powerful deep learning solution for extracting insights from these intricate relationships. This thesis explores the application of GNNs to address two key challenges: maximizing influence in social networks and predicting missing links in knowledge graphs with limited data. With applications ranging from optimizing public health campaigns and combating misinformation to knowledge base completion, this research addresses the need for computationally efficient and robust methods in these domains. Influence maximization (IM) focuses on identifying the most influential nodes within a social network to maximize the spread of information or ideas. This thesis explores methods for tackling the IM problem, particularly in real-world scenarios with massive networks and diverse information themes. We build our models upon the S2V-DQN framework, a powerful approach that combines Deep Q-Networks (DQNs) for reinforcement learning with Structure2Vec (S2V) for graph embedding. We first develop our IM-GNN model that incorporates advanced GNN features such as graph attention mechanisms and positional encoding, demonstrating competitive performance against existing learning-based and non-learning based methods for influence maximization. We further extend our research to tackle Topic-aware Influence Maximization (TIM) where the spread of information is influenced by its thematic content, requiring models to consider not only network structure but also the topics of the messages being shared. This is where the limitations of traditional IM methods become apparent. Our TIM-GNN model effectively handles this complexity by incorporating topic-aware training and probabilistic methods for constructing topic-aware diffusion graphs. To address query latency concerns, we introduce TIM-GNNx, which integrates cross-attention mechanisms and a pre-computed Q-matrix. Our experiments on real-world datasets demonstrate that our proposed model achieves competitive performance in terms of influence spread compared to state-of-the-art methods while also offering significant improvements in query time latency and robustness to changes in the diffusion graph. Notably, our TIM-GNNx model strikes a balance between query efficiency and maximizing influence, making it particularly well-suited for real-time applications. In the realm of knowledge graphs, we explore Few-Shot Link Prediction (FSLP), where the goal is to predict missing relationships with limited training examples, which is crucial for addressing the long-tail phenomenon. In knowledge graphs, the long-tail phenomenon refers to the fact that a large number of entities (nodes) and relations (edges) have very few connections or occurrences. This results in a distribution where a small number of popular entities or relations have many connections, while the vast majority have very few. Our investigation focuses on the feasibility of integrating a path-based knowledge graph completion method PathCon with a meta-learning framework MetaR to address the limitations of the latter. While our initial investigations did not yield significant improvements or notable scientific contributions, they provided valuable insights into the challenges of this task and informed the development of a prototype, deployed as an API, for the AIDA project. This prototype demonstrates the practical value of our research and paves the way for future explorations in this area. Overall, this thesis contributes novel and efficient GNN-based solutions for influence maximization and explores promising directions for few-shot link prediction in knowledge graphs, pushing the boundaries of these research areas.
Les graphes, structures de données fondamentales, sont utilisés pour représenter des schémas complexes dans divers domaines. Les réseaux de neurones graphiques (GNN), un paradigme d'apprentissage profond conçu pour les données structurées en graphes, offrent une solution d'apprentissage profond efficace pour extraire des informations de ces relations complexes. Cette thèse explore l'application des GNNs pour relever deux défis clés : maximiser l'influence dans les réseaux sociaux et prédire les liens manquants dans les graphes de connaissances avec des données limitées. Avec des applications allant de l'optimisation des campagnes de santé publique et de la lutte contre la désinformation à la complétion des bases de connaissances, cette recherche répond au besoin de méthodes efficaces et robustes dans ces domaines. La maximisation de l'influence (IM) se concentre sur l'identification des nœuds les plus influents au sein d'un réseau social pour maximiser la diffusion d'informations ou d'idées. Cette thèse explore des méthodes pour résoudre le problème de l'IM, en particulier dans des scénarios réels avec des réseaux massifs et divers thèmes d'information. Nous construisons nos modèles en nous basant sur S2V-DQN, une approche qui combine les réseaux Deep Q-Networks (DQN) pour l'apprentissage par renforcement avec Structure2Vec (S2V) pour l'intégration de graphes. Nous développons d'abord notre modèle IM-GNN qui intègre des fonctionnalités GNN avancées telles que les mécanismes d'attention graphique et le codage positionnel, démontrant des performances concurrentielles par rapport aux méthodes existantes pour la maximisation de l'influence. Nous étendons ensuite nos recherches pour aborder la maximisation de l'influence sensible au sujet (TIM) où la diffusion de l'information est influencée par son contenu thématique, exigeant que les modèles considèrent non seulement la structure du réseau mais aussi les sujets des messages partagés. C'est là que les limites des méthodes traditionnelles d'IM deviennent apparentes. Notre modèle TIM-GNN gère efficacement cette complexité en incorporant un entraînement sensible au sujet et des méthodes probabilistes pour construire des graphes de diffusion sensibles au sujet. Pour résoudre les problèmes de latence des requêtes, nous introduisons TIM-GNNx, qui intègre des mécanismes d'attention croisée et une matrice Q précalculée. Nos expériences sur des ensembles de données réels démontrent que notre modèle atteint des performances concurrentielles en termes de diffusion d'influence par rapport aux méthodes de l'état de l'art tout en offrant des améliorations significatives en termes de latence et de robustesse. Notre modèle TIM-GNNx trouve un équilibre entre l'efficacité des requêtes et la maximisation de l'influence, ce qui le rend particulièrement adapté aux applications en temps réel. Dans le domaine des graphes de connaissances, nous explorons la prédiction de liens à peu d'exemples (FSLP), où l'objectif est de prédire les relations manquantes avec des exemples d'entraînement limités. Notre étude se concentre sur la possibilité d'intégrer une méthode de complétion de graphe de connaissances basée sur les chemins, PathCon, avec un cadre de méta-apprentissage MetaR pour résoudre les limites de ce dernier. Bien que nos recherches initiales n'aient pas apporté d'améliorations significatives ou de contributions scientifiques notables, elles ont fourni des informations pertinentes sur les défis de cette tâche et ont éclairé le développement d'un prototype pour le projet AIDA. Ce prototype démontre la valeur pratique de nos recherches et ouvre la voie à de futures explorations dans ce domaine. Dans l'ensemble, cette thèse apporte des solutions nouvelles et efficaces basées sur GNN pour la maximisation de l'influence et explore des pistes prometteuses pour la prédiction de liens à peu d'exemples dans les graphes de connaissances, repoussant les limites de ces domaines de recherche.
Fichier principal
Vignette du fichier
125376_HALAL_2024_archivage.pdf (14.92 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04805710 , version 1 (26-11-2024)

Identifiants

  • HAL Id : tel-04805710 , version 1

Citer

Taha Halal. Graph-based learning and optimization. Artificial Intelligence [cs.AI]. Université Paris-Saclay, 2024. English. ⟨NNT : 2024UPASG043⟩. ⟨tel-04805710⟩
0 Consultations
0 Téléchargements

Partager

More