Intérêt de l'intégration de la phylogénèse dans la génèse d'une entité neurogénétique numérique - Archive ouverte HAL Access content directly
Theses Year : 2023

Interest of using phylogenesis in building digital neuro-genetic neural networks entity

Intérêt de l'intégration de la phylogénèse dans la génèse d'une entité neurogénétique numérique

Abstract

Artificial neural networks are trained by imitating biological synaptic plasticity, but these algorithms have limitations: a topology construction method deemed too empirical, error propagation issues when the topology becomes complex, or the initial assignment of random weights. To improve these learning methods, a new method called Phylogenetic Replay Learning (PRL) has been developed and presented during this thesis. It takes inspiration from natural evolutionary mechanisms. The goal of this thesis is to evaluate the effectiveness of this new method using a genetic planning simulation algorithm for the evolution of a brain. These experiments demonstrate that the phylogenetic approach, PRL, can produce a model more effective than with the DDL method. Secondly, the Shannon entropy of the weights of the models generated by PRL shows that the deeper layers statistically contain more information than when a model is trained traditionally (with the DDL). The different steps constituting the research are: 1. Evaluation of the "phylogenetic replay learning" method, PRL: based on the evolutionary path (previously recorded) from an initial model to a final model called Champion, the initial model is retrained X times following the same recorded phylogenetic path, and the consistency of the learning results is verified. 2. Evaluation of the direct learning method (classical), DDL: starting from the previously found Champion model (reset with random weights), it is retrained X times using the DDL method. The learning results are recorded. 3. Comparison of the results obtained via the two methods. If there is a difference, it is identified and the reason(s) for it are sought. 4. Transferability tests: the previous experiments are validated using new datasets. The initial model is retrained and evaluated with a new dataset following the same previously recorded evolutionary path (PRL method). The obtained Champion model is relearned also following the DDL method. This transferability test is replicated several times on the two methods, each time with a different dataset. 5. Reproducibility tests: a new experiment is conducted starting from a new initial model, a new phylogenetic path, and thus a new Champion; the first 4 steps above are repeated. The effectiveness of the PRL is evaluated in different contexts.
Les réseaux de neurones artificiels sont entraînés en imitant la plasticité synaptique biologique, mais ces algorithmes ont des limites : une méthode de construction des modèles d’IA considérée comme trop empirique, des problèmes d’apprentissage liés à la propagation d’erreurs lorsque la topologie devient complexe ou encore l’affectation au départ de poids aléatoires. Pour tenter d’améliorer ces modes d'apprentissage, une nouvelle méthode appelée Phylogenetic Replay Learning (PRL) est présentée dans cette thèse. L'objectif est d'en évaluer l'efficacité d’apprentissage en utilisant un algorithme de planification génétique de l’évolution de la topologie lors de l’apprentissage. Les expériences démontrent que l’approche phylogénétique, PRL, est capable de produire un modèle plus performant qu’avec la méthode classique dite DDL. Second point, l'entropie de Shannon des poids des modèles générés par la PRL montre que les couches contiennent une meilleure répartition statistique des informations que lorsqu'un modèle est entraîné avec DDL. Les différentes étapes constituant la recherche : 1. Évaluation de la méthode “phylogenetic replay learning”, PRL : en s'appuyant sur le chemin évolutif (préalablement enregistré) d’un modèle initial vers un modèle final appelé Champion, on réentraîne le modèle initial X fois en suivant le même chemin phylogénétique enregistré et on vérifie, pour les X clones du modèle Champion obtenus, la bonne cohérence des résultats et obtenir les métriques d’apprentissage. 2. Évaluation de la méthode d’apprentissage directe (classique), DDL : en partant du modèle Champion trouvé précédemment (réinitialisé avec des poids aléatoires), on le réentraîne X fois avec la méthode DDL. On obtient X nouvelles versions du modèle Champion dont on enregistre les résultats d’apprentissage. 3. Comparaison des résultats obtenus via les deux méthodes. S’il y a une différence, on identifie laquelle et on en recherche la ou les raison(s). 4. Tests de transférabilité : on valide les précédentes expériences en utilisant de nouveaux jeux de données. Le modèle initial est de nouveau entraîné et évalué avec un nouveau jeu de données en suivant le même chemin évolutif enregistré précédemment (méthode PRL). On lance le réapprentissage du modèle Champion en suivant la méthode DDL. 5. Tests de reproductibilité : on refait les 4 premières étapes en partant d’un nouveau modèle initial, d’un nouveau chemin phylogénétique et donc d’un nouveau Champion. Évaluation de l’efficacité de la PRL dans des contextes différents.
Fichier principal
Vignette du fichier
2023-12-GLAFKIDES-Int-SPS.pdf (9.1 Mo) Télécharger le fichier
Origin : Files produced by the author(s)
Licence : CC BY - Attribution

Dates and versions

tel-04441792 , version 1 (06-02-2024)

Licence

Attribution

Identifiers

  • HAL Id : tel-04441792 , version 1

Cite

Jean-Patrice Glafkides. Intérêt de l'intégration de la phylogénèse dans la génèse d'une entité neurogénétique numérique. Informatique [cs]. Paris VIII - Vincennes à Saint-Denis, 2023. Français. ⟨NNT : ⟩. ⟨tel-04441792⟩
9 View
7 Download

Share

Gmail Facebook X LinkedIn More