Em uma reunião outro dia, um colega lembrou que uma certa coisa representa 5% da nota de um determinado ranking de universidades e por isso deveríamos focar na melhoria desse indicador. Lembrando que devemos evitar colocar o ranking na frente da missão de uma universidade, seria importante, mesmo assim, escrutinar a parte do leão do ranking mundial de universidades do Times Higher Education [1] : o impacto da pesquisa medido por citações de artigos, correspondendo a 30% da pontuação final. Advertências aos rankings e suas metodologias já apareceram nesse espaço antes, mas devemos insistir para ver se, além de uma avaliação descontextualizada, podemos também tentar caminhar na direção de perguntas de fato relevantes para a universidade.
Rankings tornam as universidades “calculáveis”, produzindo uma lista para comparações simples (e, na minha opinião, equivocadas), começando pela descontextualização de cada uma delas [2]. Essas listas começaram a ser usadas pelas universidades para se promoverem e, decorrido um tempo, e em um novo contexto, passaram a ser usados para atacá-las. Voltando ao indicador de impacto das publicações das universidades medido por citações de artigos, para essa coluna escolho uma amostragem de 21 universidades do ranking mencionado acima: algumas que estão no topo, outras se encontram entre as 50 e 250 melhores, as brasileiras mais destacadas (que se espalhadam entre as posições 251 e 800), e outras ainda de países desenvolvidos que se encontram nas mesmas faixas dessas brasileiras. Como o escrutínio da produção científica e seu impacto realizado pelo ranking é calcado na base de dados bibliográficos Scopus, aventuro-me a usar as possibilidades de um portal/ferramenta criado a partir da mesma Scopus. Trata-se da “solução Scival” [3], que “oferece acesso rápido e fácil aos resultados de pesquisas de mais de 8.500 instituições de pesquisa e de 220 nações de todo o mundo”. Ainda: “uma solução pronta para ser usada com potência e versatilidade sem paralelos, a SciVal permite que você visualize o desempenho da pesquisa, faça uma avaliação em relação aos colegas, desenvolva parcerias colaborativas e analise as tendências das pesquisas”. Observa-se que o foco é a avaliação, mas deveríamos nos perguntar se somos levados às perguntas corretas para desempenhar, desenvolver e analisar a universidade inserida em seu contexto, em vez de nos rankings.
A Scival separa, por exemplo, a produção científica de cada instituição por tipo de colaboração: com a participação de instituições de outros países, apenas instituições nacionais, intrainstitucional e artigos de autor único. A ferramenta mapeia o total de artigos em cada categoria, sua parcela no total geral e o impacto ponderado por área do conhecimento. A média mundial desse indicador é igual a 1, ou seja, um valor 0,8 (1,2) significa impacto 20% abaixo (acima) dessa média. A primeira figura (abaixo) mostra a comparação entre essas 21 universidades ordenadas pelo impacto de suas produções com colaboração apenas nacional.
A linha tracejada indica a tal média mundial e os menores “impactos” são justamente das brasileiras, no que se refere às colaborações nacionais, enquanto que os impactos das colaborações internacionais rivalizam com os de universidades em países desenvolvidos e melhor classificadas no ranking. Primeira pergunta: por quê? Segunda pergunta: qual é o papel das colaborações nacionais e internacionais para nossas universidades? Terceira: que papel as universidades brasileiras desempenham nessas colaborações? Quarta: o que o impacto tem a ver com esses papeis?
Este texto não é um artigo científico, mesmo porque a amostragem é pequena, internacionalmente falando, embora significativa do ponto de vista local: as seis universidades brasileiras incluídas são exatamente as maiores em produção científica em nosso país. O objetivo aqui é apenas o de sugerir perguntas.
As colaborações nacionais em nossa terra são intensas, como em algumas outras regiões no mundo (mas os contextos são diferentes, é bom lembrar), o que pode ser visualizado no mapa de colaborações baseado nos artigos publicados entre 2008 e 2012 indexados na mesma base Scopus [4] e que ilustra esta coluna. E podemos voltar à segunda e à terceira perguntas acima. As colaborações nacionais desempenham papeis relevantes ao contexto em que cada universidade está inserida. As colaborações nacionais das universidades brasileiras são importantes para resolver problemas no contexto brasileiro, fomentar centros de pesquisa emergentes, qualificar pesquisadores, etc. E não necessariamente ter impacto entre os pares, gerando citações. O interesse da pesquisa nacional vai além, como já foi discutido em outro texto sobre uma base que nasceu aqui no Brasil, o Scielo [5]. Recapitulo alguns argumentos que aludem à importância das colaborações nacionais e pouco devem se ater ao impacto por citações. Colaborações nacionais por aqui são relevantes como “pontes de conhecimento (knowledge bridging) que proveem conexões entre a literatura científica dominante e as comunidades científicas com pouco acesso a ela”. Importantes também para “preenchimento de lacunas (knowledge gap-fillling), que se refere à publicação de pesquisas em temas não cobertos pelos periódicos dominantes”.
Além disso, começa-se a discutir mais amplamente a importância de nos deslocarmos do impacto para a circulação de conhecimento, sendo que uma métrica do Scielo é um possível indicador para essa circulação: o número de acessos aos artigos. E a Scival apresenta esse indicador para as publicações indexadas na base Scopus (bem maior e internacional do que a Scielo). É o indicador de views (acessos), também ponderado por áreas de conhecimento e tendo o valor unitário como a média mundial. Segundo o guia, a métrica de “contagem de acessos indica o impacto do uso [6] total de uma determinada entidade” [7].
A última figura (abaixo) mostra as mesmas 21 universidades ordenadas agora pelo impacto geral por citações (não separado por tipo de colaboração) com a outra curva mostrando o indicador de interesse pela produção científica pela métrica de acessos. Observa-se que o interesse visto assim de maneira mais ampla rivaliza com as outras e não está correlacionado às posições no ranking. Não existe a separação por tipo de colaborações (ainda) para essa métrica, mas a importância das colaborações nacionais está ali embutida. É importante observar, no entanto, que o indicador de views ainda é incipiente, precisa ser aperfeiçoado e melhor entendido, mas sugere um bom caminho.
Aos poucos as métricas passam a ser úteis para subsidiar questões mais relevantes para as nossas universidades. Vamos descobrindo que o nosso papel talvez não deva ser o de galgar posições nos rankings, como objetivo em si mesmo, mas desenvolver pesquisa de interesse no nosso contexto, que inclui, obviamente, pesquisa básica em todas as áreas em sintonia com o resto do mundo. Por enquanto, ao que tudo indica, nossa ciência desperta interesse, e muito. Os problemas são outros e precisam, antes de mais nada, das perguntas necessárias.
[1] - https://www.timeshighereducation.com/world-university-rankings/2019/world-ranking
[2] - https://www.unicamp.br/unicamp/ju/artigos/peter-schulz/cada-universidade-uma-sentenca
[3] - https://www.elsevier.com/pt-br/solutions/scival
[4] - http://olihb.com/2014/08/11/map-of-scientific-collaboration-redux/
[5] - https://www.unicamp.br/unicamp/ju/artigos/peter-schulz/scielo-20-anos-de-visionario-imprescindivel
[6] - Da produção científica, uso para além da transformação em citações em outros artigos: “reflete o interesse de toda a comunidade científica, incluindo estudantes de graduação e de pós-graduação e pesquisadores no setor corporativo, que tendem a não publicar e citar e que estão “escondidos” das métricas baseadas em citações”, segundo o guia referenciado abaixo. Esse leque de interesses é ainda mais amplo por aqui, considerando mais amplamente o “knowledge bridging” e “knowledge gap-filling”.
[7] - https://service.elsevier.com/app/answers/detail/a_id/28187/supporthub/scival/p/10961/
