Multimodal Extraction of Proofs and Theorems from the Scientific Literature
Extraction multimodale de preuves et de théorèmes à partir de la littérature scientifique
Résumé
This thesis examines the extraction of mathematical statements and proofs from scholarly PDF articles by approaching it as a multimodal classification challenge. It is part of the broader TheoremKB project, which seeks to convert scientific literature into a comprehensive, open-access knowledge base of mathematical statements and their proofs. The research leverages a range of techniques from traditional machine learning to advanced deep learning architectures, including LSTMs, CNNs, Object detectors, CRFs, transformers, etc.
The study utilizes a novel combination of text, font characteristics, and bitmap images from PDF pages as separate input modalities. It proposes a modular, sequential, multimodal machine learning strategy incorporating a cross-modal attention mechanism to produce multimodal paragraph embeddings. These embeddings are processed through a novel multimodal sliding window transformer architecture that captures sequential data across paragraphs. This innovative approach does not rely on Optical Character Recognition (OCR) preprocessing, LATEX sources during inference or custom pre-training on specialized losses, making it adept at handling multi-page documents and page breaks, typically in complex scientific, mathematical texts.
The findings indicate a marked performance improvement when moving from unimodal to multimodal processing and integrating sequential paragraph modelling, underscoring the effectiveness of the proposed method for handling intricate scholarly documents.
Cette thèse examine l'extraction d'énoncés et de preuves mathématiques à partir d'articles PDF scientifiques en l'abordant comme un défi de classification multimodale. Elle fait partie du projet plus vaste TheoremKB, qui vise à convertir la littérature scientifique en une base de connaissances complète et en libre accès d'énoncés mathématiques et de leurs preuves. La recherche s'appuie sur une gamme de techniques allant de l'apprentissage automatique traditionnel aux architectures avancées d'apprentissage profond, notamment
LSTM, CNN, détecteurs d'objets, CRF, transformateurs, etc.
L'étude utilise une nouvelle combinaison de texte, de caractéristiques de police et d'images bitmap à partir de
pages PDF comme modalités d'entrée distinctes. Elle propose une stratégie d'apprentissage automatique
modulaire, séquentielle et multimodale intégrant un mécanisme d'attention intermodal pour produire des
incorporations de paragraphes multimodaux. Ces incorporations sont traitées via une nouvelle architecture de transformateur à fenêtre coulissante multimodale qui capture les données séquentielles sur plusieurs paragraphes. Cette approche innovante ne repose pas sur le prétraitement par reconnaissance optique de caractères (OCR), les sources LATEX pendant l'inférence ou la pré-formation personnalisée sur les pertes spécialisées, ce qui la rend apte à gérer des documents multipages et des sauts de page, généralement dans des textes scientifiques et mathématiques complexes.
Les résultats indiquent une amélioration marquée des performances lors du passage d'un traitement unimodal à un traitement multimodal et de l'intégration de la modélisation séquentielle des paragraphes, soulignant
l'efficacité de la méthode proposée pour gérer des documents scientifiques complexes.
Origine | Fichiers produits par l'(les) auteur(s) |
---|