Multimodal Extraction of Proofs and Theorems from the Scientific Literature - Archive ouverte HAL
Thèse Année : 2024

Multimodal Extraction of Proofs and Theorems from the Scientific Literature

Extraction multimodale de preuves et de théorèmes à partir de la littérature scientifique

Shrey Mishra
  • Fonction : Auteur
  • PersonId : 1105903

Résumé

This thesis examines the extraction of mathematical statements and proofs from scholarly PDF articles by approaching it as a multimodal classification challenge. It is part of the broader TheoremKB project, which seeks to convert scientific literature into a comprehensive, open-access knowledge base of mathematical statements and their proofs. The research leverages a range of techniques from traditional machine learning to advanced deep learning architectures, including LSTMs, CNNs, Object detectors, CRFs, transformers, etc. The study utilizes a novel combination of text, font characteristics, and bitmap images from PDF pages as separate input modalities. It proposes a modular, sequential, multimodal machine learning strategy incorporating a cross-modal attention mechanism to produce multimodal paragraph embeddings. These embeddings are processed through a novel multimodal sliding window transformer architecture that captures sequential data across paragraphs. This innovative approach does not rely on Optical Character Recognition (OCR) preprocessing, LATEX sources during inference or custom pre-training on specialized losses, making it adept at handling multi-page documents and page breaks, typically in complex scientific, mathematical texts. The findings indicate a marked performance improvement when moving from unimodal to multimodal processing and integrating sequential paragraph modelling, underscoring the effectiveness of the proposed method for handling intricate scholarly documents.
Cette thèse examine l'extraction d'énoncés et de preuves mathématiques à partir d'articles PDF scientifiques en l'abordant comme un défi de classification multimodale. Elle fait partie du projet plus vaste TheoremKB, qui vise à convertir la littérature scientifique en une base de connaissances complète et en libre accès d'énoncés mathématiques et de leurs preuves. La recherche s'appuie sur une gamme de techniques allant de l'apprentissage automatique traditionnel aux architectures avancées d'apprentissage profond, notamment LSTM, CNN, détecteurs d'objets, CRF, transformateurs, etc. L'étude utilise une nouvelle combinaison de texte, de caractéristiques de police et d'images bitmap à partir de pages PDF comme modalités d'entrée distinctes. Elle propose une stratégie d'apprentissage automatique modulaire, séquentielle et multimodale intégrant un mécanisme d'attention intermodal pour produire des incorporations de paragraphes multimodaux. Ces incorporations sont traitées via une nouvelle architecture de transformateur à fenêtre coulissante multimodale qui capture les données séquentielles sur plusieurs paragraphes. Cette approche innovante ne repose pas sur le prétraitement par reconnaissance optique de caractères (OCR), les sources LATEX pendant l'inférence ou la pré-formation personnalisée sur les pertes spécialisées, ce qui la rend apte à gérer des documents multipages et des sauts de page, généralement dans des textes scientifiques et mathématiques complexes. Les résultats indiquent une amélioration marquée des performances lors du passage d'un traitement unimodal à un traitement multimodal et de l'intégration de la modélisation séquentielle des paragraphes, soulignant l'efficacité de la méthode proposée pour gérer des documents scientifiques complexes.
Fichier principal
Vignette du fichier
thesis.pdf (23.21 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-04665528 , version 1 (31-07-2024)

Licence

Identifiants

  • HAL Id : tel-04665528 , version 1

Citer

Shrey Mishra. Multimodal Extraction of Proofs and Theorems from the Scientific Literature. Information Retrieval [cs.IR]. Université Paris Sciences & Lettres, 2024. English. ⟨NNT : ⟩. ⟨tel-04665528⟩
430 Consultations
57 Téléchargements

Partager

More