Thèse Année : 2025

Rethinking research evaluation in the context of open science

Réinventer l’évaluation de la recherche à la lumière de la science ouverte

Reinventar a avaliação da pesquisa à luz da ciência aberta

Résumé

Since the last decade, there has been a multiplication of recommendations, institutional initiatives, and government policies aimed at promoting open science. Paradoxically, research evaluation systems — increasingly anchored in quantitative indicators of productivity and impact — constitute one of the main obstacles to the dissemination of open and collaborative research practices. By prioritizing publication metrics and citation counts, these evaluative models tend to overlook — or even discourage — practices oriented toward knowledge sharing. Conversely, there has also been a growing global movement to reform the current parameters, methods, and criteria of research assessment, which are widely seen as subsumed under a narrow set of indicators that impoverish the understanding of research activity. In light of this context, this study investigates the emerging trends and challenges involved in the reform of dominant research evaluation models, taking into account the agendas propelled by the open science movement. It examines both the critiques directed at the centrality of metrics in evaluative processes and the alternative proposals aimed at reconfiguring research evaluation in alignment with the values, principles, and practices of open science. The analysis is grounded in the understanding of assessment systems as instruments of science governance, capable of shaping the ways in which knowledge is produced, circulated, and legitimized. A relational approach is adopted — focusing on the alliances and interactions among various actors — and draws from theoretical and analytical frameworks in Information Science, in dialogue with the Philosophy of Information and Science and Technology Studies (STS). The methodology includes a scoping review inspired by the PRISMA-ScR guidelines, aimed at mapping the state of the art on the reconfiguration of research assessment in its interface with open science agendas. The review encompassed academic literature published in Portuguese, French, Spanish, and English, retrieved from six information sources: Redalyc, LA Referencia, HAL, SciELO, Web of Science, and Scopus. The findings show that practices of scientific knowledge arbitration have never been static; since the founding of the first scientific societies and academies, they have been continuously reshaped through processes of contestation and (re)negotiation. This historical perspective makes it possible to denaturalize the widespread assumption that peer review has always been the primary and self-evident means of ensuring the rigor and quality of research. The study further traces connections between the scientific communication system, science and information policies, and accountability regimes, highlighting how these elements, in articulation, laid the groundwork for the consolidation of the contemporary research assessment model. The analysis then turns to the diverse conceptions of open science, revealing important convergences between reform-oriented assessment proposals and agendas promoting scientific openness. A total of 52 mobilizing initiatives aimed at transforming the hegemonic model of research assessment were identified. Subsequently, the systematic analysis of 68 studies enabled the identification of key challenges, critiques, and alternative proposals for reforming research assessment in accordance with the principles of open science. Broadly speaking, the literature underscores the urgency of transforming assessment systems in order to recognize and reward a broader diversity of research contributions. The conceptual anchor for this transformation has increasingly coalesced around the notion of Responsible Research Assessment (RRA). Finally, the study discusses how the ongoing platformization of academic infrastructures introduces new tensions and challenges for the realization of RRA and for the framing of science as a global public good. The study concludes that the platformization of digital scientific information infrastructures — under the hegemony of major publishing and data analytics corporations — has intensified the dependence of research institutions, funding agencies, and researchers on commercial tools. While such platforms offer operational conveniences, their proprietary and opaque architectures conflict with the principles of open science and Responsible Research Assessment. In this context, the reinvention of evaluation systems requires the strengthening of public infrastructures for scientific information and communication, guided by ethical and political commitments to building a more just, inclusive, and epistemically diverse scientific system.

On observe, notamment au cours de la dernière décennie, une multiplication des recommandations, des initiatives institutionnelles et des politiques publiques visant à promouvoir la science ouverte. Paradoxalement, les systèmes d’évaluation de la recherche, de plus en plus appuyés sur des indicateurs quantitatifs de productivité et d’impact, constituent l’un des principaux obstacles à la diffusion de pratiques de recherche ouvertes et collaboratives. En accordant une priorité aux métriques de publication et au comptage des citations, les modèles évaluatifs actuellement en place tendent à négliger — voire à décourager — les démarches orientées vers l’ouverture et le partage des connaissances. Dans le même temps, des initiatives appelant à une refonte des paramètres, méthodes et critères d’évaluation de la recherche gagnent en visibilité à l’échelle internationale. Ces initiatives dénoncent une dépendance excessive à un ensemble limité d’indicateurs, qui réduit la compréhension des activités de recherche et de leurs apports. Face à ce constat, ce travail propose d’analyser les tendances et les défis liés à la reconfiguration du modèle dominant d’évaluation de la recherche, à partir des agendas portés par le mouvement de la science ouverte. Il s’agit d’explorer les critiques adressées à la centralité des métriques dans les processus évaluatifs ainsi que les propositions émergentes visant à transformer l’évaluation en cohérence avec les valeurs, principes et pratiques de la science ouverte. Ce travail repose sur l’idée que le système d’évaluation constitue un instrument de gouvernement de la science, en interaction avec les dynamiques de production, de circulation et de légitimation des savoirs. Une approche relationnelle est adoptée, mettant l’accent sur les alliances et interactions entre une pluralité d’acteurs, à partir d’un cadre théorique issu des sciences de l’information, en dialogue avec la philosophie de l’information et les études en science, technologie et société (STS). Une Scoping Review, inspirée des lignes directrices PRISMA-ScR, a été menée afin de cartographier l’état des connaissances sur la reconfiguration de l’évaluation de la recherche à l’intersection des agendas de la science ouverte. Cette revue s’est appuyée sur un repérage systématique de la littérature académique et scientifique en portugais, français, espagnol et anglais, à partir de six sources d’information : Redalyc, LA Referencia, HAL, SciELO, Web of Science et Scopus. Les résultats montrent que les pratiques d’arbitrage des savoirs scientifiques, loin d’être figées, ont été historiquement reconfigurées par des processus continus de tensions et de (re)négociations, depuis la création des premières académies et sociétés savantes. Cette perspective permet de déconstruire l’idée selon laquelle l’évaluation scientifique aurait toujours été conduite par les pairs dans le seul but d’assurer la rigueur et la qualité des recherches. Dans un deuxième temps, l’analyse établit des liens entre le système de communication scientifique, les politiques de science et d’information, et les régimes d’imputabilité (accountability regimes), en mettant en évidence la manière dont ces éléments, articulés entre eux, ont contribué à stabiliser le modèle contemporain d’évaluation scientifique. L’étude identifie ensuite différentes conceptions de la science ouverte, en soulignant les convergences entre les propositions de réforme des systèmes évaluatifs existants et les stratégies visant à favoriser l’ouverture de la science. Cinquante-deux actions structurantes orientées vers la transformation du modèle hégémonique d’évaluation ont été recensées. Dans une quatrième étape, à partir de l’analyse de 68 études, les principaux défis, critiques et propositions alternatives visant à réformer l’évaluation ont été extraits, en vue de l’aligner avec les principes de la science ouverte. De manière générale, les études soulignent l’urgence de réviser les systèmes d’évaluation pour qu’ils reconnaissent et valorisent une plus grande diversité de contributions issues du travail de recherche. La notion d’évaluation responsable de la recherche (Responsible Research Assessment, ou RRA) s’affirme progressivement comme une boussole pour orienter cette transformation. Enfin, ce travail discute des tensions introduites par le processus de plateformisation académique, qui complexifie la mise en œuvre de l’évaluation responsable et remet en question l’idée de la science comme bien public mondial. Il en ressort que l’expansion des plateformes numériques d’information scientifique — dominées par de grandes entreprises éditoriales et courtiers de données — accentue la dépendance des institutions de recherche, bibliothèques, agences de financement et chercheurs vis-à-vis d’outils numériques commerciaux. Si ces plateformes apportent des solutions techniques efficaces, leur caractère propriétaire et opaque entre en contradiction avec les principes de la science ouverte et de l’évaluation responsable. Dans ce contexte, nous soutenons que la transformation des systèmes d’évaluation suppose le renforcement d’infrastructures publiques de l’information et de la communication scientifique, guidées par des engagements éthico-politiques en faveur d’un système scientifique plus équitable, inclusif et pluriel.

Multiplicaram-se, especialmente desde a última década, as recomendações, iniciativas institucionais e políticas governamentais que buscam promover a ciência aberta. Paradoxalmente, os sistemas de avaliação da pesquisa, cada vez mais fundamentados em indicadores quantitativos de produtividade e impacto, têm se constituído como um dos principais entraves à disseminação de práticas de pesquisa aberta e colaborativa. Ao priorizarem métricas de publicação e contagem de citações, os modelos avaliativos vigentes negligenciam — ou desestimulam — ações orientadas à abertura e ao compartilhamento do conhecimento. Por outro lado, também vêm ganhando força, em escala global, iniciativas que propõem reformular os atuais parâmetros, métodos e critérios de avaliação da pesquisa, vistos como subsumidos a um conjunto limitado de indicadores, que reduz e empobrece a compreensão sobre as atividades de pesquisa e suas contribuições. Frente a esse cenário, busca-se investigar as tendências e desafios em torno da reformulação do modelo dominante de avaliação da pesquisa, considerando as agendas impulsionadas pelo movimento de ciência aberta, explorando tanto as críticas dirigidas à centralidade conferida às métricas nos processos avaliativos quanto as propostas emergentes que visam transformar a avaliação em consonância com valores, princípios e práticas da ciência aberta. Para tanto, parte-se da compreensão do sistema de avaliação como um instrumento de governança da ciência, capaz de moldar os modos de produção, circulação e legitimação do conhecimento. Adota-se uma abordagem relacional — que privilegia, na análise, as alianças e interações entre diversos atores —, alicerçada em referenciais teóricos e analíticos da Ciência da Informação, em sua articulação com a Filosofia da Informação e com os Estudos de Ciência, Tecnologia e Sociedade. Conduz-se, também, uma Revisão de Escopo (Scoping Review), inspirada nas diretrizes PRISMA-ScR, a fim de mapear o estado da arte sobre a reconfiguração da avaliação da pesquisa em sua interface com as agendas da ciência aberta, a partir do levantamento sistemático da produção acadêmico-científica em português, francês, espanhol e inglês — proveniente de seis fontes de informação: Redalyc, LA Referencia, HAL, SciELO, Web of Science e Scopus. Como resultados, observou-se que as práticas de arbitragem do conhecimento científico, longe de serem imutáveis, foram, desde a fundação das primeiras sociedades e academias científicas, reconfiguradas por meio de constantes processos de embates e (re)negociações. Isso permitiu desnaturalizar a noção recorrente de que a avaliação científica sempre foi conduzida pelos pares com o objetivo precípuo de assegurar o rigor e a qualidade das pesquisas. Em um segundo momento, foram traçadas conexões entre o sistema de comunicação científica, as políticas científicas e de informação e os regimes de responsabilização (accountability regimes), destacando-se como esses elementos, em associação, configuraram condições constitutivas para a estabilização do modelo contemporâneo de avaliação da ciência. Em seguida, a análise contemplou diferentes concepções de ciência aberta, evidenciando convergências entre as propostas de reforma dos sistemas vigentes de avaliação e o conjunto de diretrizes e estratégias que buscam promover a abertura da ciência. Foram elencadas 52 ações mobilizadoras voltadas a transformar o modelo hegemônico de avaliação da pesquisa. Num quarto momento, a partir da análise de 68 estudos, foram extraídos os principais desafios, críticas e propostas alternativas para reformar o atual modelo de avaliação, de modo a alinhá-lo à ciência aberta. De forma geral, os estudos ressaltam a urgência de uma mudança nos sistemas de avaliação da pesquisa, a fim de que se passe a reconhecer e a recompensar uma diversidade maior de contribuições do trabalho de pesquisa. A bússola para essa reforma vem se estabelecendo em torno da noção de Avaliação Responsável da Pesquisa (Responsible Research Assessment — RRA, no inglês). Posteriormente, discutiu-se como o processo de plataformização acadêmica introduz novas tensões e desafios para a concretização da abordagem da Avaliação Responsável da Pesquisa, e para o construto da ciência como um bem público global. Concluiu-se, por fim, que o avanço da plataformização das infraestruturas digitais de informação científica — sob a hegemonia de grandes corporações editoriais e corretora de dados (data brokers) — tem intensificado a dependência de instituições de pesquisa, bibliotecas, agências de fomento e pesquisadores em relação a ferramentas digitais comerciais. Embora ofereçam facilidades operacionais, o uso de ferramentas proprietárias e opacas colide com os princípios da ciência aberta e da Avaliação Responsável da Pesquisa. Nesse contexto, argumenta-se que a reinvenção dos sistemas de avaliação requer o fortalecimento de infraestruturas públicas de informação e comunicação científica, orientadas por compromissos ético-políticos em direção à construção de um sistema científico mais justo, inclusivo e diverso.

Fichier principal
Vignette du fichier
Tese_Tatiane Trinca - V Final_27 julho 25.pdf (5.56 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Licence

Dates et versions

tel-05196259 , version 1 (01-08-2025)

Licence

Identifiants

  • HAL Id : tel-05196259 , version 1

Citer

Tatiane Pacanaro Trinca. Reinventar a avaliação da pesquisa à luz da ciência aberta. Humanities and Social Sciences. Instituto Brasileiro de Informação em Ciência e Tecnologia - IBICT; Universidade Federal do Rio de Janeiro (UFRJ), Rio de Janeiro, Brazil, 2025. Portuguese. ⟨NNT : ⟩. ⟨tel-05196259⟩
530 Consultations
682 Téléchargements

Partager

  • More