Geração automática de questões avaliativas em larga escala - Archive ouverte HAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Geração automática de questões avaliativas em larga escala

Flavio Izo
  • Fonction : Auteur
  • PersonId : 1236685
Jhonatan Leão
  • Fonction : Auteur
  • PersonId : 1236686
Elias Oliveira
  • Fonction : Auteur
  • PersonId : 1236687

Résumé

Assessment is the means used to diagnose learning difficulties. Assessment through questionnaires is one of the ways used to measure the level of content learning by students. Manually elaborating questions requires time and effort. Using an automatic question generator allows the teacher to access several questions and apply automatic correction, disseminating assessment results more quickly. If we analyse Massive Open Online Courses (MOOCs), it becomes humanly impossible to correct the large volume of questions manually. We present an institutional tool that recognizes chemical entities in texts provided by the teacher and automatically generates questions and their respective answers. We recognized the chemical entities through Local Grammars (LG), and then we elaborated free-text and fill-in-the-blank questions through triplets with spaCy in Python language. To validate the tool, we used two recognized books in Organic Chemistry. Chemistry specialists validated and indicated the level of difficulty of the questions. We generated 64 questions, 33 of which were free-text questions, and 31 were fill-in-the-blank questions. The average of the experts’ assessment indicated that 78,77% (average) and 87,5% (median) of the questions have quality and that most questions have an intermediate difficulty level. The main contributions of this research are recognition of named entities in the chemical area and automatic generation of questions in Portuguese. These tasks can facilitate human beings' manual work, reducing the time for generating and correcting questions and reducing institutional costs of such activities.
Neste artigo apresentamos uma abordagem para geração automática de questões em larga escala para compor um banco de questões. Desenvolvemos uma plataforma que recebe um arquivo texto como entrada e gera as questões como saída. A principal finalidade do sistema é apoiar a atividade docente e institucional. Utilizamos o Reconhecimento de Entidades Nomeadas (Named Entity Recognition – NER) para facilitar o reconhecimento dos componentes químicos presentes no texto. Após o NER, dois tipos de questões foram geradas automaticamente: questões de preenchimento (fill-in-the-blank) e questões discursivas (free-text) de resposta curta. Nos experimentos utilizamos dois livros didáticos de Química do Ensino Médio. O NER utilizou a análise da Gramática Local (Local Grammars – LG). A principal contribuição deste trabalho é oferecer um sistema web institucional de baixo custo operacional para anotação de entidades e geração automática de questões relacionadas a química. Esse sistema tem como objetivo complementar o trabalho do professor, estimulando-o como parte importante do processo. Após a elaboração das questões, o professor pode avaliá-las e revisá-las, oferecendo um diagnóstico como feedback sobre a qualidade das questões produzidas. Dessa forma, a instituição terá uma base de dados de questões, para utilizar em outras atividades. As questões geradas podem ser importadas no SI institucional ou em Ambientes Virtuais de Aprendizagem (AVA).
Fichier non déposé

Dates et versions

hal-04026948 , version 1 (13-03-2023)

Identifiants

Citer

Flavio Izo, Jhonatan Leão, Juliana Pinheiro Campos Pirovani, Elias Oliveira. Geração automática de questões avaliativas em larga escala. SBSI: XVIII Brazilian Symposium on Information Systems, May 2022, Curitiba, Brazil. pp.1-8, ⟨10.1145/3535511.3535518⟩. ⟨hal-04026948⟩

Collections

LIGM_LINGU_INVITE
15 Consultations
0 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More