An Analysis of French-Language Tweets About COVID-19 Vaccines: Supervised Learning Approach - Archive ouverte HAL Accéder directement au contenu
Article Dans Une Revue JMIR Medical Informatics Année : 2022

An Analysis of French-Language Tweets About COVID-19 Vaccines: Supervised Learning Approach

Résumé

As the pandemic progressed, disinformation, fake news and conspiracy spread through many parts of society. However, the disinformation spreading through social media is, according to the literature, one of the causes of increased COVID-19 vaccine hesitancy. In this context, the analysis of social media is particularly important, but the large amount of data exchanged on social networks requires specific methods. This is why machine learning and natural language processing (NLP) models are increasingly applied to social media data. Objective: The aim of this study is to examine the capability of the CamemBERT French language model to faithfully predict elaborated categories, with the knowledge that tweets about vaccination are often ambiguous, sarcastic or irrelevant to the studied topic. Methods: A total of 901,908 unique French tweets related to vaccination published between July 12, 2021, and August 11, 2021, were extracted using the Twitter API v2. Approximately 2,000 randomly selected tweets were labeled with two types of categorization: (1) arguments for ("pros") or against ("cons") vaccination (sanitary measures included) and (2) the type of content of tweets ("scientific", "political", "social", or "vaccination status"). The CamemBERT model was fine-tuned and tested for the classification of French tweets. The model performance was assessed by computing the F1-score, and confusion matrices were obtained. Results: The accuracy of the applied machine learning reached up to 70.6% for the first classification ("pros" and "cons" tweets) and up to 90.0% for the second classification ("scientific" and "political" tweets). Furthermore, a tweet was 1.86 times more likely to be incorrectly classified by the model if it contained fewer than 170 characters (odds ratio = 1.86; 1.20 < 95% confidence interval < 2.86). Conclusions: The accuracy is affected by the classification chosen and the topic of the message examined. When the vaccine debate is jostled by contested political decisions, tweet content becomes so heterogeneous that the accuracy of the models drops for less differentiated classes. However, our tests showed that it is possible to improve the accuracy of the model by selecting tweets using a new method based on tweet size.
Les réseaux sociaux participent activement à la diffusion de la désinformation sur la covid-19 et, selon de nombreuses études, auraient causés l’augmentation de la réticence vis-à-vis des vaccins anti-covid. Dans ce contexte, l’analyse des réseaux sociaux est des plus importants en matière de santé publique. Toutefois, au regard du grand volume de données échangées chaque jour par les internautes, elle nécessite des méthodes spécifiques. C’est pourquoi les chercheurs ont de plus en plus souvent recours aux modèles d’apprentissage automatisé et au traitement du langage naturel (NLP) en particulier. L’objectif de la présente étude est d’examiner la capacité du modèle CamemBERT, pré-entraîné sur la langue française, à catégoriser automatiquement les tweets traitant de la vaccination alors qu’ils sont souvent ambigus, sarcastique ou sans rapport avec le sujet. Les résultats obtenus, sur 2 000 tweets francophones, montrent que la précision de l'apprentissage automatique atteint jusqu'à 70,6 % pour la première classification (tweets « pour » et « contre ») et jusqu'à 90,0 % pour la seconde (tweets « scientifiques » et « politiques »). De plus, un tweet a 1,86 fois plus de chances d'être mal classé par le modèle s'il contient moins de 170 caractères que s'il en contient plus de 170 (odd ratio = 1,86 ; 1,20 < intervalle de confiance à 95 % < 2,86). En conclusion, la précision du modèle est affectée par la classification choisie et le sujet du message examiné. Lorsque le débat sur le vaccin est bousculé par des décisions politiques contestées, les tweets deviennent si hétérogènes que la précision des modèles chute sur les classes les moins différenciantes. Toutefois, nos tests ont également montré qu'il serait possible d'améliorer la précision du modèle en sélectionnant les tweets à l'aide d'une nouvelle méthode basée sur la taille des tweets.
Fichier principal
Vignette du fichier
Sauvayre_et_al_An_Analysis_of_French-Language_Tweets_About_COVID-19_Vaccines_Supervised_Learning_Approach_accepted.pdf (623.83 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03659154 , version 1 (05-05-2022)
hal-03659154 , version 2 (25-05-2022)

Licence

Paternité

Identifiants

Citer

Romy Sauvayre, Jessica Vernier, Cédric Chauvière. An Analysis of French-Language Tweets About COVID-19 Vaccines: Supervised Learning Approach. JMIR Medical Informatics, 2022, 10 (5), ⟨10.2196/37831⟩. ⟨hal-03659154v2⟩
237 Consultations
120 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More