Fail and try again: Return on topic modelling apply to archaeological scientific literature - Archive ouverte HAL Accéder directement au contenu
Poster De Conférence Année : 2024

Fail and try again: Return on topic modelling apply to archaeological scientific literature

Échecs et nouvelle tentative : Retours d’expérience sur l'application du "modèle de sujet/topic model" à de la littérature scientifique archéologique

Résumé

Scoping large amounts of data for literature review is a time-consuming task, and automated solutions emerged as promising tools to sorting and analysing the vast array of results. These classification methods can take the form of query systems akin to research portals, employing criteria like publication date, authorship, and keywords, or automated classification models (Padarian et al. 2020). Latent Dirichlet allocation (LDA), a Bayesian Network unsupervised model, has found widespread application across various domains for this purpose (Jelodar et al. 2019). LDA, noted for its user-friendly nature and the ability to categorize information into predefined topics, has therefore been used in our study to automatically detect different topics among our corpus and classify them by coherence. The recent development of machine learning techniques into archaeology has led to various practice in different subfield of archelogy (i.e. G.I.G., paleogenetic, artefact classification). This development of new methods into different subfield of archaeology had never been explored before, and a topic modeling approach seams to be an efficient way to analysis relationship between different topics. Our question was: what relation is there between the collected articles, and how relevant it is to classify them into different categories with topic modelling? To gather our dataset, we systematically scoured five different online databases using a series of 12-word combinations. This process yielded a total of 532 articles, which were subsequently subjected to automated filtering to eliminate irrelevant content. After this first filter 377 articles were analyzed via LDA model under R. Parameters were optimized according to different metrics such as in Ponweiser (2012), LDA was performed on both the full texts and abstracts of the articles. However, the results did not yield a clear-cut classification (Fig. 1). Many of the identified topics exhibited overlap, with one category significantly overrepresented. The reason of such a failure is difficult to input to only one factor. The diversity of topics represented and the low capacity of LDA to treat complex data set are probably the main reasons of the failure of this attempt. Nevertheless, the LDA analysis did reveal certain linguistic patterns within the articles, such as “technophile” language bias. Our research serves as a candid account of an unsuccessful experiment, we aim share the parameters employed to standardize future approaches in this domain. We will discuss the reasons behind this lack of success and compare the LDA model with BERTopic, another popular topic modelling approach. These two models have been widely used and were successful in past research, therefore, we think important to compare both of them and there results. Additionally, we will discuss emerging developments in machine learning field, such as large language model, which hold promise as reliable solutions for complex and extensive data sets.
L'analyse de grandes quantités de données pour un état de l'art est une tâche qui prend du temps, et des solutions automatisées sont récemment apparues comme des outils prometteurs pour trier et analyser la vaste gamme de résultats. Ces méthodes de classification peuvent prendre la forme de systèmes d'interrogation semblables à des portails de recherche, utilisant des critères tels que la date de publication, l'auteur et les mots clés, ou de modèles de classification automatisés (Padarian et al. 2020). L'allocation de Dirichlet latent (ADL), un modèle non supervisé de réseau bayésien, a trouvé une application généralisée dans divers domaines à cette fin (Jelodar et al. 2019). ADL, notée pour sa facilité d'utilisation et sa capacité à catégoriser l'information dans des sujets prédéfinis, a donc été utilisée dans notre étude pour détecter automatiquement différents sujets parmi notre corpus et les classer par cohérence. Le développement récent des techniques d'apprentissage automatique en archéologie a conduit à diverses pratiques dans différents sous-domaines de l'archéologie (i.e. G.I.G., paléogénétique, classification des artefacts). Ce développement de nouvelles méthodes dans différents sous-domaines de l'archéologie n'avait jamais été exploré auparavant, et une approche de modélisation des sujets semble être un moyen efficace d'analyser les relations entre différents sujets. Notre question était la suivante : quelle est la relation entre les articles collectés, et dans quelle mesure est-il pertinent de les classer dans différentes catégories à l'aide de la modélisation des sujets ? Pour constituer notre ensemble de données, nous avons systématiquement parcouru cinq bases de données en ligne différentes en utilisant une série de combinaisons de 12 mots. Ce processus a permis d'obtenir un total de 532 articles, qui ont ensuite été soumis à un filtrage automatisé afin d'éliminer le contenu non pertinent. Après ce premier filtrage, 377 articles ont été analysés via le modèle ADL sous R. Les paramètres ont été optimisés en fonction de différentes métriques comme dans Ponweiser (2012), ADL a été effectué à la fois sur les textes complets et les résumés des articles. Cependant, les résultats n'ont pas permis d'établir une classification claire. De nombreux sujets identifiés se chevauchaient, une catégorie étant largement surreprésentée. Il est difficile d'attribuer cet échec à un seul facteur. La diversité des sujets représentés et la faible capacité de l'analyse ADL à traiter des ensembles de données complexes sont probablement les principales raisons de l'échec de cette tentative. Néanmoins, l'analyse ADL a révélé certains schémas linguistiques dans les articles, tels que le biais linguistique "technophile". Notre recherche sert de retour d'une expérience infructueuse, nous visons à partager les paramètres utilisés pour normaliser les approches futures dans ce domaine. Nous discuterons des raisons de cet échec et comparerons le modèle ADL avec BERTopic, une autre approche populaire de modélisation des sujets. Ces deux modèles ont été largement utilisés et ont donné de bons résultats dans des recherches antérieures, c'est pourquoi nous pensons qu'il est important de les comparer et de comparer leurs résultats. En outre, nous discuterons des développements émergents dans le domaine de l'apprentissage automatique, tels que les grands modèles de langage [Large language models], qui sont prometteurs en tant que solutions fiables pour les ensembles de données complexes et étendus.
Fichier principal
Vignette du fichier
CAA_2024_PosterV1.pdf (724.63 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

hal-04613953 , version 1 (17-06-2024)

Licence

Identifiants

  • HAL Id : hal-04613953 , version 1

Citer

Mathias Bellat, Ruhollah Tagizadeh-Mehrjardi, Thomas Scholten. Fail and try again: Return on topic modelling apply to archaeological scientific literature. CAA51st Across the Horizon, Apr 2024, Auckland, New Zealand. 2024. ⟨hal-04613953⟩
0 Consultations
0 Téléchargements

Partager

Gmail Mastodon Facebook X LinkedIn More