Em comunicação recente neste mesmo jornal, trouxemos para discussão o tema da revisão pelos pares como mecanismo historicamente construído para garantir a qualidade e integridade da pesquisa científica nos processos de seleção de projetos de pesquisa para financiamento e de artigos científicos para publicação.
Naquele momento, tivemos como preocupação central apresentar os benefícios e os vieses associados ao uso da avaliação pelos pares no contexto particular das agências de fomento, assim como formas alternativas de empregar esse tipo de avaliação. Embora tenhamos mencionado a existência de opções consideradas mais radicais na medida em que criam novos caminhos para a seleção de propostas de pesquisa não baseadas na avaliação pelos pares, elas não foram devidamente aprofundadas.
Acreditamos na urgência de ampliar o debate sobre essas opções, que vêm sendo discutidas na literatura especializada e também nas práticas de gestão das agências de fomento em âmbito mundial. Esse é nosso objetivo nesta comunicação, que traz mais alguns avanços do projeto em andamento "Pesquisa da pesquisa e da inovação: indicadores, métodos e evidências de impactos".
Optamos aqui por tratar de três dessas opções: a distribuição direta dos recursos das agências seguindo o critério de equidade para os que submeteram propostas; o uso de ferramentas de bibliometria para embasar as decisões de seleção; e finalmente a loteria.
Comecemos pela criação de novos arranjos de distribuição de recursos que modificam a lógica competitiva baseada na seleção individualizada de projetos. Encontramos, na literatura, um modelo ainda não aplicado que propõe a substituição da revisão por pares em agências de fomento por um modelo redistributivo de recursos (Bollen et al., 2019). Nesse modelo, a partir de critérios iniciais estabelecidos para participação em um programa, um grupo de pesquisadores receberia recursos de forma equitativa e, a partir de cada ciclo temporal estabelecido pela agência, os próprios pesquisadores seriam obrigados a repassar uma porcentagem fixa de seu financiamento para outro pesquisador do mesmo grupo (a agência, a cada ciclo, pode também mobilizar mais recursos). Isso implicaria, segundo os autores, uma maior transparência, uma maior possibilidade de capturar vieses, uma diminuição dos custos da revisão por pares e a garantia de que todos possam ter algum recurso. Esse modelo parte da premissa de que se deve financiar pesquisadores, e não projetos, e de que a própria comunidade de pesquisa poderia ter mais autonomia para decidir a alocação de recursos sem a mediação dos pareceristas. Caberia à agência de fomento, além de alocar os recursos, estabelecer os mecanismos de governança e fiscalizar o processo, garantindo a sua transparência e a lisura das contas.
Os autores ressaltam que essa proposta traz possíveis problemas, como o estímulo a outros tipos de competição entre pesquisadores e a criação de tensões e conflitos internos. Além disso, ressaltam que essa proposta não se aplicaria a todos os tipos e programas de financiamento, como grandes projetos de longo prazo que dependem da estabilidade de recursos.
Outra opção consiste no uso da bibliometria como base para as decisões sobre seleção em agências de fomento à pesquisa. A bibliometria envolve a análise quantitativa da produção científica de pesquisadores, levando em consideração métricas como o número de publicações e as citações recebidas para fornecer uma visão do impacto e da relevância do trabalho de um pesquisador. No geral, o uso da bibliometria no processo de seleção pode trazer benefícios, como objetividade na avaliação e redução dos custos associados ao processo de revisão por pares. Além disso, a análise bibliométrica pode ser realizada de forma rápida e automatizada, permitindo uma avaliação mais eficiente de um grande número de propostas de pesquisa.
Para avaliar a correspondência entre os resultados da revisão por pares e as medidas bibliométricas de desempenho em pesquisa, Johnson (2020) utiliza o índice h[1] de aproximadamente 600 pesquisadores da Fundação Nacional de Pesquisa (NRF) da África do Sul, classificados em diferentes disciplinas nas ciências biológicas. Os resultados do estudo indicam que o índice h pode ser uma ferramenta útil para identificar pesquisadores com maior impacto e produtividade, mas não deve ser usado como o único critério de avaliação. São considerações levantadas também por Lovegrove e Johnson (2008), cujo estudo compara as classificações da revisão por pares utilizadas pela NRF com várias medidas bibliométricas, como o índice h, o índice m[2], o índice g[3], o número total de citações e a média de citações por artigo. Os dados de uma amostra de 163 pesquisadores botânicos e zoólogos revelam que, embora as avaliações da revisão por pares estejam correlacionadas com as medidas bibliométricas, elas explicam menos de 40% da variação nos índices. Segundo os autores, grande parte dessa variação é atribuída às limitações tanto do sistema de revisão por pares quanto dos índices bibliométricos.
Nesse sentido, é importante considerar com cautela o uso da bibliometria como processo de seleção em agências de fomento à pesquisa. É fundamental destacar que as métricas bibliométricas não capturam totalmente a qualidade e a inovação de uma pesquisa e que podem existir vieses disciplinares ou de autoria que afetam esses indicadores. Além disso, a ênfase exclusiva na bibliometria pode levar a uma visão reducionista da pesquisa, desconsiderando aspectos qualitativos importantes. Uma abordagem mais abrangente seria combinar a análise bibliométrica com revisões por pares e outros critérios de avaliação, buscando equilibrar a objetividade das métricas bibliométricas com a avaliação qualitativa do mérito científico e da originalidade das propostas de pesquisa.
Roumbanis (2019) explora as potencialidades da utilização da loteria como uma alternativa à tradicional avaliação pelos pares para seleção de projetos de pesquisa, indicando que esse método seria capaz de proporcionar uma dinâmica de seleção mais justa e com menor custo de operação. Segundo o autor, a implementação da loteria, porém, não poderia ser considerada sem uma etapa preliminar de triagem, com o propósito de identificar os projetos em conformidade com os requisitos dispostos nos editais; isto é, a escolha aleatória só seria viável dentro de um conjunto de projetos já previamente selecionados com base em determinados critérios. A partir dessas ponderações, Roumbanis argumenta que, além dos efeitos positivos para a comunidade científica, o uso da loteria poderia contribuir para uma maior diversidade de projetos contemplados com recursos financeiros e para a seleção de propostas mais inovadoras.
Woods & Wilsdom (2021) trazem algumas experiências de uso parcial de sorteio que vêm sendo pensadas e empregadas por agências de fomento à pesquisa em âmbito mundial parceiras do Research on Research Institute (RoRI) do Reino Unido nessa frente de estudo. De acordo com os autores, tais experiências têm servido para testar justamente os aspectos mencionados anteriormente – a redução de vieses e da carga de trabalho envolvida com a avaliação pelos pares (por parte dos pesquisadores que submetem suas propostas e da própria agência), assim como as percepções e atitudes da comunidade científica perante alternativas dessa natureza e ainda os impactos sobre a pesquisa financiada. A favor desse tipo de prática está a percepção de que a própria subjetividade associada à avaliação pelos pares torna o processo uma "loteria". Como afirmam Fang & Casadevall (2016), “the system is already in essence a lottery without the benefit of being random” (o sistema já funciona essencialmente como uma loteria sem o benefício de ser aleatório).
Uma das experiências-piloto reportada pelos autores é a da Fundação Volkswagen da Alemanha na sua linha de fomento Experiment!, orientada para pesquisas de risco. A linha foi criada em 2012, mas apenas em 2017 iniciou-se a experiência de randomização parcial. Nesse caso, a randomização ocorre após uma primeira etapa de enquadramento das propostas enviadas pela própria agência e uma segunda etapa de análise por um painel de especialistas que indica poucas propostas muito bem avaliadas e um conjunto de propostas consideradas fracas. É nessa zona cinzenta que a randomização acontece, quando então se localizam as propostas que não se destacam por sua excelência ou que são classificadas como não aderentes. Essa mesma lógica da randomização parcial para propostas de qualidade equivalente é reportada por Woods & Wilsdom (2021) em dois casos, um relacionado com a linha de mobilidade de pós-docs na Swiss National Science Foundation e outro constante do programa 1000 Ideas do Austrian Science Fund.
Stafford et al. (2022) discutem a potencialidade do uso de ensaios controlados randomizados (os chamados RCTs, na sigla em inglês) no contexto dessas experiências de loteria em agências de fomento, como forma de obter evidências robustas e potentes acerca dos benefícios da randomização parcial na alocação de financiamento. De acordo com os autores, o grande diferencial desse tipo de ensaio se dá pela vasta gama de possibilidades de resultados (o que se procura obter) que podem ser escolhidos para o desenho do estudo, de acordo com o efeito do tratamento (o que se procura estimar ou analisar), tais como justiça, redução de tempo, diversidade, projetos de alto risco e alta recompensa, avanços científicos excepcionais. No entanto, para que seja possível a utilização dos RCTs, são necessários uma operacionalização cautelosamente planejada e um bom desenho do estudo. Apenas dessa forma ele poderá trazer resultados confiáveis capazes de atestar eventuais benefícios ou prejuízos da loteria.
Ainda que os pressupostos a favor do uso da loteria possam indicar avanços em direção à consolidação de procedimentos menos tendenciosos para o financiamento de pesquisas, não há um consenso a respeito do potencial e dos limites dessa forma de seleção. Nesse sentido, Bedessem (2019) procura estruturar argumentos fundamentados em princípios epistemológicos para criticar a utilização da aleatoriedade, apontando, a título de exemplo, que a escolha de projetos inovadores, de alta qualidade ou de alto impacto seria factível e mais assertiva a partir do emprego de outros mecanismos de seleção.
Dois pontos devem ser destacados em relação às alternativas aqui apresentadas. O primeiro diz respeito aos novos e possíveis vieses que essas práticas trazem, como fica claro na discussão anterior. Cada uma das opções apresentadas tem suas vantagens e seus desafios, e a escolha da abordagem mais adequada dependerá das características e dos objetivos específicos de cada agência e programa de financiamento. O segundo ponto relaciona-se com a legitimidade dessas práticas, especialmente no que se refere à aceitação delas por parte da comunidade científica, já tão acostumada, a despeito das críticas, ao uso da avaliação pelos pares.
Nossa conclusão indica a necessidade de mais estudos sobre essas alternativas, principalmente em termos de vieses e impactos, seja a partir de experiências reais, seja a partir de simulações, uma vez que convencer agências de fomento e a comunidade em seu entorno a encampar essas mudanças não é tarefa fácil. Como se trata de um assunto e de uma prática emergentes, pouco ainda se sabe sobre seus possíveis desdobramentos no sistema e na comunidade de pesquisa.
Mas o fato é que as agências de fomento precisam ser protagonistas na promoção de um debate amplo e participativo sobre o tema, envolvendo os pesquisadores e demais stakeholders, a fim de encontrar soluções que garantam a qualidade, a equidade e a eficiência na alocação de recursos para pesquisa. Esse é um caminho importante para a urgente adaptação de seus sistemas de avaliação e seleção às mudanças que vêm sendo encampadas nos conteúdos, nas formas e nos valores associados ao fazer ciência e inovação.
Autores: Adriana Bin, Ana Carolina Spatti, Evandro Cristofoletti Coggo, Larissa Aparecida Prevato Lopes, Emily Maciel Campgnolli, Raíssa Demattê.
Este texto não reflete, necessariamente, a opinião da Unicamp.
Referências
Bedessem, B. (2019). Should we fund research randomly? An epistemological criticism of the lottery model as an alternative to peer-review for the funding of science. Research Evaluation, 29(2): 150-157.
Bollen, J., Carpenter, S.R.; Lubchenco, J.; Scheffer, M. (2019). Rethinking resource allocation in science. Ecology and Society, 24 (3):29.
Fang, F.C; Casadevall A. (2016). Research funding: the case for a modified lottery. mBio 7(2): e00422-16.
Johnson, S.D. (2020). Peer review versus the h-index for evaluation of individual researchers in the biological sciences. South African Journal of Science, 116(9-10): 1-5.
Lovegrove, B.G.; Johnson, S.D. (2008) Assessment of Research Performance in Biology: How Well Do Peer Review and Bibliometry Correlate?, BioScience, 58(2): 160–164.
Roumbanis, L. (2019). Peer review or lottery? A critical analysis of two different forms of decision-making mechanisms for allocation of research grants. Science, Technology, & Human Values, 44(6): 994-1019.
Stafford, T.; Rombach, I.; Hind, D.; Mateen, B.; Woods, H.B.; Dimario, M.; Wilsdon, J. (2022) Where next for partial randomisation of research funding? The feasibility of RCTs and alternatives (RoRI Working Paper No. 9). Research on Research Institute. Report.
Woods, H.B.; Wilsdon, J. (2021). Experiments with randomisation in research funding: scoping and workshop report (RoRI Working Paper No.4). Research on Research Institute. Report.
[1] O índice h, também conhecido como índice de Hirsch, é uma métrica utilizada para avaliar o impacto e a relevância das publicações de um pesquisador. Ele leva em consideração tanto o número de publicações quanto o número de citações recebidas por essas publicações.
[2] O índice m é calculado dividindo o índice h pelo "tempo científico" do pesquisador, que é o período de tempo desde a primeira publicação até a última publicação.
[3] O índice g é semelhante ao índice h, mas é ponderado pelos trabalhos mais frequentemente citados.
