Towards Inclusive Pedagogy: A multimodal Classification of Textbook Illustrations for Adaptive Learning Environments
Vers une pédagogie inclusive : une classification multimodale des illustrations de manuels scolaires pour des environnements d'apprentissage adaptés
Résumé
To foster inclusive education, automatic systems that can adapt textbooks to make them accessible to children with disabilities are necessary. In this context, we propose a task to classify the images associated with the exercises according to three classes (Essential, Informative, Useless) to decide whether to integrate them into the accessible version of the textbook for visually impaired children. On a dataset composed of 652 (text, image) pairs, we use state-of-the-art monomodal and multimodal approaches and show that text-based approaches achieve better results. The CamemBERT model achieves an accuracy of 85.25% when combined with unbalanced data management strategies. To better understand the relationship between text and image in textbooks’ exercises, we also perform a qualitative analysis of the results obtained with and without the image modality and use the LIME method to explain the decision of our models.
Afin de favoriser une éducation inclusive, des systèmes automatiques capables d'adapter les manuels scolaires pour les rendre accessibles aux enfants en situation de handicap sont nécessaires. Dans ce contexte, nous proposons de classifier les images associées aux exercices selon trois classes (Essentielle, Informative et Inutile) afin de décider de leur intégration ou non dans la version accessible du manuel pour les enfants malvoyants. Sur un ensemble de données composé de 652 paires (texte, image), nous utilisons des approches monomodales et multimodales à l'état de l'art et montrons que les approches fondées sur le texte obtiennent les meilleurs résultats. Le modèle CamemBERT atteint ainsi une exactitude de 85,25 % lorsqu'il est combiné avec des stratégies de gestion de données déséquilibrées. Pour mieux comprendre la relation entre le texte et l'image dans les exercices des manuels, nous effectuons également une analyse qualitative des résultats obtenus avec et sans la modalité image et utilisons la méthode LIME pour expliquer la décision de nos modèles.
Fichier principal
Poster_TALN_2024.pdf (603.18 Ko)
Télécharger le fichier
TALN_2024.pdf (7.66 Mo)
Télécharger le fichier
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|