A crescente irrelevância da ciência brasileira? Artigo de Jacques Wainer

Jacques Wainer é professor titular do Instituto de Computação da Universidade Estadual de Campinas (Unicamp). Artigo enviado ao JC Email pelo autor. 

Recentemente, houve uma grande divulgação do aumento no número de publicações de brasileiros em revistas indexadas pela Web of Science. Em 12/05/2009 o então ministro da educação apresentou durante uma seção conjunta da SBPC-ABC dados que mostrava que o Brasil tinha alcançado a 13ª posição no ranking dos países com maior produção indexada no Web of Science [1]. Uma análise posterior mostrou que grande parte do crescimento da produção brasileira era devido ao crescimento do número de revistas nacionais indexadas pelo Web of Science [2]. Mas parece inegável que a produção brasileira de artigos científicos está numa trajetória crescente, embora não a taxa de 50% como foi anunciado.

Mas produção de artigos científicos, mesmo artigos em revistas indexadas pelo Web of Science é a métrica errada para medir a qualidade da ciência brasileira. Uma métrica mais apropriada é o impacto, medido, por exemplo, pelo número de citações recebidas. Scimago [3] é um site que usa dados da Scopus e mostra gratuitamente dados como citações, produção, etc agregados por países ou por revistas. Em particular, a entrada "Country search" permite visualizar vários dados de cada país em separado, enquanto que a entrada "Country ranking" permite comparar todos os países entre si.

Em 1996, isto é, para artigos publicados em 1996, o Brasil ocupa a 28ª posição de 49 países (países com mais de 1000 publicações por ano) no ranking ordenado por citações recebidas por artigo. Com 13.5 citações por artigo, o Brasil está acima do México, África do Sul, Argentina, Taiwan, e Coreia do Sul. Em 2010 o Brasil ocupa a 51ª posição de 72 países, abaixo do México (42ª posição), África do Sul (26ª posição), Argentina (30ª posição), Taiwan (41ª posição) e Coreia do Sul (37ª posição). Ou seja, o Brasil tem sistematicamente perdido sua posição no ranking de países ordenados por citações recebidas por artigo publicado. Em 2003 o Brasil só estava acima do México, dentre os países listados acima. Eu convido o leitor a acessar a versão longa deste artigo [4], que mostra a evolução do Brasil no ranking de forma gráfica. A versão longa também contém outros gráficos e análises mais detalhadas.

Talvez, países como a Argentina, México, etc tenham mais citações por artigo porque pesquisadores destes países têm uma maior tradição de citar trabalhos do próprio país, e "todo mundo sabe" que "brasileiro não cita brasileiro". Isto poderia explicar as diferenças em citações por artigo?  Scimago também disponibiliza dados sobre autocitações. Curiosamente, em 1996 o Brasil é o 14º país (de 49) no ranking de autocitações por documentos, acima da Argentina (20ª posição), África do Sul (27ª), Coreia do Sul (34ª), México (25ª) e Taiwan (30ª). E o Brasil se mantém nesta posição até 2006. Em 2010, o Brasil está na 39ª posição (de 72), acima apenas do México (52ª).

Só a partir de 2006 é que "brasileiros deixaram de citar brasileiros" e até lá a taxa de autocitações brasileiras era consideravelmente alta. Se retirarmos as autocitações do total de citações recebidas obtemos algo como citações externas (de artigos que não envolve pesquisadores dos respectivos países). Devido a alta taxa de autocitações do Brasil no início do período, a ordem se inverte e os países que estavam logo abaixo do Brasil, estão logo acima. Mas mesmo assim trajetória descendente do Brasil no ranking é clara: 33ª posição de 49 em 1996 para 53ª de 72 em 2010.

Um pequeno consolo é que a China (CN), o fenômeno científico mais recente, e a Rússia (RU), e a Índia (IN), estão consistentemente abaixo do Brasil em citações por artigos, em todos os anos. Vou dar por encerada esta seção deste artigo onde tento convencer o leitor que o fenômeno é real, que artigos publicados por brasileiros estão sendo cada vez menos citados. Vejamos uma conclusão intermediária, antes de passar para tentativas de explicar o fenômeno.

Conclusão intermediária - Brasileiros estão produzindo muito mais artigos científicos, mas cada vez menos cientistas tanto brasileiros como estrangeiros estão usando os resultados produzidos pela ciência brasileira. Esta frase é obviamente uma simplificação; é preciso lembrar que as citações recebidas a cada ano são uma distribuição de valores (que segue uma lei de potência se a lei de Lotka vale) e eu estou falando de como a média desta distribuição evolve no tempo, em comparação com outros países. É provável que um subconjunto dos artigos nacionais se distingua de forma significativa do resto. Assim é possível que os artigos de uma área X, de uma universidade Y, ou do conjunto de pesquisadores 1A e 1B da área Z não sigam este padrão e estejam sendo citados cada vez mais pela comunidade internacional. Mas na média, cada vez mais os artigos brasileiros estão sendo cada vez menos citados por brasileiros e estrangeiros.

Há duas hipóteses a considerar - ou artigos brasileiros estão metodologicamente errados e outros pesquisadores não confiam nos resultados destes artigos, ou os artigos resolvem problemas que não interessam a outros pesquisadores. Dado que os artigos são aceitos para publicação nas boas revistas, vamos assumir a hipótese mais benevolente que cientistas brasileiros, na sua grande maioria, não estão desenvolvendo pesquisas metodologicamente erradas. Resta a hipótese que os cientistas brasileiros estão de forma crescente resolvendo os problemas errados, e daí o título deste artigo. Note que os problemas são errados tanto para cientistas de outros países (dado o baixo índice de citações externas por artigo) como para os próprios cientistas brasileiros (dado a baixa recente do índice de autocitações por artigo).

De modo geral, o cientista brasileiro parece acreditar seu dever é fazer sua pesquisa, seja ela qual for, e publicá-la em bons veículos; se o mundo vai usá-la ou não, é algo fora do seu controle. Por que?

Há talvez três explicações plausíveis para a crescente irrelevância da ciência brasileira: falta de verbas, internacionalização da pesquisa e mecanismos de avaliação. A explicação da falta de verbas é a tradicional reclamação dos cientistas brasileiros. Não tenho muito a dizer sobre falta de verbas, mas me parece que ela não explica a baixa taxa de citações por artigo. Primeiro, a verba média por pesquisador do Brasil deve ser maior que a da Argentina, ou da África do Sul, talvez maior mesmo que a de Taiwan, mas tais países têm melhores taxas que o Brasil. Segundo, a verba de pesquisa brasileira tem sido suficiente para publicar um número crescente de artigos em periódicos de qualidade. Portanto há verba para fazer pesquisa de qualidade, mas a verba não é suficiente para fazer pesquisa relevante?

A segunda explicação é o nível de internacionalização da produção de um país. O nível de internacionalização mede a porcentagem de artigos de um país que tem coautores de outros países. Tal informação não esta disponível na página "Country rankings" do Scimago, mas está disponível nas páginas individuais dos vários países ("Country search"). Em 1996, 39% dos artigos brasileiros tinham coautores internacionais, em 2010 apenas 24%. A Argentina passa de 35% em 1996 para 42% em 2010; o México, de 39% para 40%; Coreia do Sul, 27% a 26%; África do Sul, de 31% a 45%; e Taiwan se mantém a 20%. A taxa brasileira de internacionalização, embora acima da de Taiwan, tem decrescido em comparação a os outros países. Isto poderia explicar a diminuição das citações por artigo?

Há resultados divergentes se colaboração internacional melhora ou não as chances de citação de um artigo. Estudos em áreas específicas, computação [5], finanças [6] e ecologia [7] mostram que não há diferença significativa entre artigos com colaboração internacional e artigos sem ela. Há pesquisas que mostram que colaboração internacional não é significativamente diferente de colaboração local, mas ambos geram artigos que recebem mais citações que artigos não colaborativos [8]. Por outro lado, há também pesquisas que mostram que artigos com colaboração internacional receberam mais citações que os artigos sem esta colaboração para pesquisadores da Nova Zelândia [9], Brasil [10] e Inglaterra [11]. Mesmo tendo em vista as divergências da literatura, a explicação do nível de internacionalização parece razoável e merece pesquisas adicionais.

A explicação que me parece muito provável é que os mecanismos de avaliação da ciência brasileira, tanto pessoais como coletivos focam exageradamente em produção (ou produtividade ou produção qualificada) sem levar em consideração impacto, medido, por exemplo, por citações recebidas. Os pares nas bancas de promoção, os membros dos CAs do CNPq, os avaliadores da Capes, etc, cobram produção (total de artigos), produtividade recente (total de artigos nos últimos 5 ou mais anos) ou produção qualificada (artigos indexados no Web of Science) e não impacto. Note que publicação qualificada não é garantia de citação; só porque uma revista tem índice de impacto 3 não significa que um artigo publicado nela vá receber por volta de 3 citações nos dois anos após a publicação. Produção qualificada é apenas uma esperança de citações, e não uma medida real de impacto.

Nenhum cientista é contra receber citações, mas já que ele não é cobrado por isso, provavelmente não vale a pena assumir os riscos de modificar sua linha de pesquisa para assuntos mais relevantes para a comunidade nacional e internacional. Afinal, ele é capaz de publicar um crescente número de artigos nos assuntos que ele já pesquisa, e é isso que é cobrado dele, nos concursos de promoção, pelo CNPq e pela Capes.

Recomendação - A solução para a decrescente taxa de citações por artigo é modificar o sistema de avaliação de cientistas no Brasil para incluir não só produção, mas principalmente o impacto desta produção. Se o cientista sabe que o número de citações recebidas será mais importante na sua avaliação que o número de publicações, ele certamente dedicará esforços em escolher os temas de pesquisa que são mais relevantes. Esta mesma solução "resolveria" o problema mesmo que as causas da diminuição das citações sejam diferentes das que eu propus aqui. Se por exemplo, a pesquisa brasileira não é citada por razões metodológicas e não de irrelevância, uma avaliação centralmente baseada em impacto vai incentivar fortemente os cientistas em melhorar suas metodologias de pesquisa. Se a baixa taxa de internacionalização da pesquisa é a principal causa das baixas citações, esta nova forma de avaliação vai incentivar pesquisadores a buscar colaborações internacionais.

É claro que avaliações de impacto devem ser discutidas e implementadas de forma diferente em diferentes áreas científicas. As diferentes disciplinas científicas devem definir qual métrica ou qual combinação de métricas são mais razoáveis para medir impacto; devem definir os valores para estas métricas que são razoáveis para pesquisadores em diferentes estágios da carreira científica, para pesquisadores com diferentes bolsas de pesquisa do CNPq, etc; e finalmente devem definir que serviço bibliométrico, por exemplo, entre Web of Science, Scopus, ou Google Scholar é mais apropriado para medir impacto. Por exemplo, Web of Science e Scopus subavaliam o tanto o número de publicações como impacto destas publicações na área de computação [12].

Obviamente este artigo não é o primeiro a conclamar que medidas de citação (ou outras medidas de impacto) sejam mais intensamente usadas para avaliação de cientistas. Meneghini [13] discute que total de citações poderia ser usado como métrica para avaliação de programas de pós-graduação pela Capes. Um artigo publicado no JC-Email [14] chama à atenção a baixa taxa de citações por artigo da ciência brasileira, e compara-a com alguns dos mesmos países mencionados aqui. O artigo centra-se majoritariamente na baixa taxa de citações por artigo do Brasil para o período de 1995 a 2006. Infelizmente, não parece que a chamada para uma maior ênfase em qualidade foi respondida então.

Referências:

[1]       Academia Brasileira de Ciências. Ministro da educação em sessão conjunta ABC-SBPC, 2009 https://www.abc.org.br/article.php3?id_article=227 acessado em 8/2012. 

[2]       Pesquisa Fapesp. Muito calor, pouca luz, 2009. https://revistapesquisa2.fapesp.br/?art=3871&bd=1&pg=1&lg= acessado em 8/2012.

[3]       SJR - SCImago Journal & Country Rank. https://www.scimagojr.com acessado em 8/2012.

[4]       Wainer, J. "A crescente irrelevância da ciência brasileira?" https://www.ic.unicamp.br/~reltech/2012/12-23.pdf acessado em 8/2012.

[5]       Bartneck, C.; Hu, J. "The fruits of collaboration in a multidisciplinary field." Scientometrics, 85(1):41-52, 2010.

[6]       Avkiran, N.K. "Scientific collaboration in finance does not lead to better quality research." Scientometrics, 39(2):173-184, 1997.

[7]       Leimu, R.;Koricheva, J. "Does scientific collaboration increase the impact of ecological articles? " BioScience, 55(5):438-443, 2005.

[8]       He, Z.L. "International collaboration does not have greater epistemic authority." Journal of the American Society for Information Science and Technology, 60(10):2151-2164, 2009.

[9]       Goldfinch, S.; Dale, T.; DeRouen, K. "Science from the periphery: Collaboration, networks and 'periphery effects' in the citation of New Zealand crown research institutes articles, 1995-2000." Scientometrics, 57(3):321-337, 2003.

[10]     Leta, J.; Chaimovich, H. "Recognition and international collaboration: the Brazilian case." Scientometrics, 53(3):325-335, 2002.

[11]     Katz, J.S.; Hicks, D. "How much is a collaboration worth?  A calibrated bibliometric model." Scientometrics, 40(3):541-554, 1997.

[12]     Wainer, J.; Goldenstein, S.; Billa, C. "Invisible work in standard bibliometric evaluation of computer science" Communications of the ACM 54(5):141-146, 2011.

[13]     Meneghini, R. "Citations to papers from Brazilian institutions: a more effective indicator to assess productivity and the impact of research in graduate programs." Brazilian Journal of Medical and Biological Research, 44(8):738-747, 2011.

[14]     Ferreira, S. "Ciência no Brasil: Crescer, mas com qualidade." JC-Email, 7 de Agosto de 2007. https://www.jornaldaciencia.org.br/Detalhe.jsp?id=49345 acessado em 8/2012.

 * A equipe do Jornal da Ciência esclarece que o conteúdo e opiniões expressas nos artigos assinados são de responsabilidade do autor e não refletem necessariamente a opinião do jornal.
[publicado originalmente pelo Jorna da Ciência em 5 de setembro de 2012]