Limits of international databases bibliometric indicators to evaluate the Brazilian Graduate Programs: Web of Science coverage on different scientific disciplines
Limites dos indicadores bibliométricos de bases de dados internacionais para avaliação da Pós-Graduação brasileira: a cobertura da Web of Science nas diferentes áreas do conhecimento
Résumé
Considering the growing use of bibliometric and scientometric indicators in the evaluation of Brazilian Graduation Programs, this paper aims to identify Web of Science’s coverage concerning bibliographic output (scientific papers). It focuses on the major knowledge and evaluation areas set by the Coordination for Higher Education Staff Development, a Brazilian public organization for research funding, and seeks to highlight the limits and possibilities of the use of these indicators as devices for evaluating the scientific activity of the national graduation system. For this purpose, data surveys were held on the bibliographic production of 4,377 graduate programs currently registered on Sucupira Platform, and Web of Science Core Collection, between 2017 and 2018. Consolidated by empirical data and a theoretical approach, the results show that 46.56% of journals employed by Brazilian researchers affiliated to Brazilian graduate programs are currently indexed on this database, while 53.44% are not. The conclusion, therefore, is that there are variations on the indexation levels among the various Major Knowledge and Evaluation Areas. We also addressed the recommendation that processes of evaluation consider the results of scientific activities beyond just papers indexed on international bibliographic databases.
Considerando o crescimento do uso de indicadores bibliométricos e cientométricos em processos de avaliação da Pós-Graduação brasileira, buscou-se identificar o nível de cobertura da Web of Science em relação à produção bibliográfica brasileira (artigos) nas diferentes Grandes Áreas do Conhecimento e Áreas de Avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, agência pública brasileira de financiamento à pesquisa, apontando limites e possibilidades da adoção desses indicadores como mecanismos de avaliação dos resultados da atividade científica dos programas que compõem o Sistema Nacional de Pós-Graduação. Para tanto, recorreu-se ao levantamento de dados da produção bibliográfica dos 4.377 Programas de Pós-Graduação cadastrados na Plataforma Sucupira nos anos de 2017 e 2018, bem como à coleta de dados da Core Collection da Web of Science. Diante dos dados empíricos e do referencial teórico adotado, evidenciou-se que 46,56% dos periódicos utilizados para publicação por pesquisadores vinculados aos Programas de Pós-Graduação brasileiros estão indexados na base, enquanto 53,44% dos periódicos utilizados não estão indexados. Demonstrou-se variações de cobertura/indexação nas diferentes Grandes Áreas do Conhecimento e Áreas de Avaliação, assim como abordou-se a necessidade de se considerar, em processos de avaliação de Programas de Pós-Graduação, os resultados das atividades científicas para além da produção bibliográfica de artigos indexados em bases bibliográficas internacionais.