Multimodal extraction of proofs and theorems from the scientific literature
Extraction multimodale de preuves et de théorèmes depuis la littérature scientifique
Résumé
This thesis examines the extraction of mathematical statements and proofs from scholarly PDF articles by approaching it as a multimodal classification challenge. It is part of the broader TheoremKB project, which seeks to convert scientific literature into a comprehensive, open-access knowledge base of mathematical statements and their proofs. The research leverages a range of techniques from traditional machine learning to advanced deep learning architectures, including LSTMs, CNNs, Object detectors, CRFs, transformers, etc. The study utilizes a novel combination of text, font characteristics, and bitmap images from PDF pages as separate input modalities. It proposes a modular, sequential, multimodal machine learning strategy incorporating a cross-modal attention mechanism to produce multimodal paragraph embeddings. These embeddings are processed through a novel multimodal sliding window transformer architecture that captures sequential data across paragraphs. This innovative approach does not rely on Optical Character Recognition (OCR) preprocessing, LATEX sources during inference or custom pre-training on specialized losses, making it adept at handling multi-page documents and page breaks, typically in complex scientific, mathematical texts. The findings indicate a marked performance improvement when moving from unimodal to multimodal processing and integrating sequential paragraph modelling, underscoring the effectiveness of the proposed method for handling intricate scholarly documents.
Cette thèse étudie l’extraction d’énoncés et de preuves mathématiques à partir d’articles scientifiques PDF en l’abordant comme un problème de classification multimodale. Elle fait partie du projet plus large TheoremKB, qui cherche à convertir la littérature scientifique en une base de connaissances complète et en libre accès d’énoncés mathématiques et de leurs preuves. La recherche exploite une gamme de techniques allant de l’apprentissage automatique traditionnel aux architectures avancées d’apprentissage profond, notamment les LSTM, les CNN, les détecteurs d’objets, les CRF, les transformeurs. L’étude exploite une combinaison originale du texte, de caractéristiques de fontes et d’images bitmap provenant des pages PDF comme modalités de saisie distinctes. Elle propose une stratégie d’apprentissage automatique multimodale modulaire et séquentielle qui intègre un mécanisme d’attention intermodale pour produire des plongements multimodaux de paragraphes. Ces plongements sont ensuite traités via une nouvelle architecture de transformeur à fenêtre glissante multimodale qui capture les données séquentielles dans les paragraphes. Cette approche innovante ne repose pas sur le prétraitement de reconnaissance optique de caractères (OCR), sur les sources LATEX lors de l’inférence ou sur le pré-entraînement ad hoc avec des fonctions de perte spécialisées, ce qui la rend apte à gérer des documents multipages et des sauts de page typiques des textes mathématiques scientifiques complexes. Les résultats indiquent une nette amélioration des performances lors du passage du traitement unimodal au traitement multimodal et de l’intégration de la modélisation de paragraphes séquentiels, soulignant l’efficacité de la méthode proposée dans le traitement de documents scientifiques complexes.
| Origine | Version validée par le jury (STAR) |
|---|---|
| Licence |