Multiview Document Clustering Using a Cross-Attention Mechanism for Feature Fusion
Clustering multi-vues de documents selon un mécanisme de cross-attention pour la fusion de caractéristiques
Résumé
L’augmentation croissante de la quantité de documents complexes renforce le besoin de modèles capables de traiter efficacement ce type de données multivues, où plusieurs types d’informations coexistent. Les approches classiques, traitant soit les caractéristiques textuelles et visuelles séparément, soit proposant une fusion simple des différents espaces de représenta tion, ne tirent pas pleinement parti de leur complémentarité. Cet article propose une méthode innovante pour fusionner ces caractéristiques via un mécanisme de cross-attention(Vaswani et al., 2017), utilisant LayoutLM (Xu et al., 2020) pour le texte et Vision Transformer (ViT) (Dosovitskiy et al., 2021) pour les informations visuelles (images, graphes,...). Cette intégra tion enrichit significativement la compréhension des documents et la performance de l’ex traction d’informations, en particulier pour des documents complexes tels que les contrats, les formulaires ou les rapports financiers. Nous démontrons expérimentalement l’efficacité de cette approche pour le clustering de documents, avec des améliorations notables selon diverses métriques d’évaluation de clustering, en comparaison avec les modèles unimodaux et multi modaux existants.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |