Os artigos científicos ainda são o principal produto da ciência e o maior peso na carreira de pesquisadores. Publicar em revistas científicas internacionais de prestígio facilita o acesso a recursos financeiros para realizar mais pesquisa, identifica cientistas de destaque, e ajuda universidades e países a pontuarem em classificações (rankings) nacionais e internacionais. Para saber se um pesquisador, curso de pós-graduação ou instituição são importantes, muitas vezes, se mede o número de artigos científicos publicados em revistas consideradas de prestígio e relevância (impacto), além do número de vezes que outros artigos científicos citaram aqueles artigos, as chamadas citações. Apesar das distorções nos chamados indicadores tradicionais serem reconhecidas pela comunidade científica, eles continuam moldando as políticas científicas de universidades, agências de financiamento, as estratégias editoriais e pesando na carreira de cientistas.
As chamadas métricas alternativas (altmetria ou altmetrics, em inglês) surgiram como indicadores complementares, tema a que venho me dedicando e desenvolvendo pesquisa aqui na Simon Fraser University. Seu marco inicial está datado em 2010, quando foi publicado o Altmetrics: a manisfesto, sobre o qual comentei em minha última coluna, quando entrevistei Jason Priem, um de seus autores. Em poucas palavras, a altmetria se propõe a traçar os usos de artigos e documentos científicos no ambiente online, através de indicadores gerados a partir do compartilhamento de seus links em redes sociais, blogs, notícias jornalísticas, documentos governamentais, Wikipedia etc. Nestes últimos sete anos, a altmetria vem se estabelecendo como área de pesquisa e modificado o peso das métricas tradicionais, mas ainda precisa lidar com inúmeras limitações.
Assim, as pontuações de um artigo no Altmetric – uma das empresas mais usadas para gerar dados altimétricos - , podem indicar que não apenas colegas especialistas estão lendo o resultado de sua pesquisa, mas também estudantes de um curso universitário, pacientes de um grupo no Facebook que querem entender os sintomas ou tratamentos de uma doença, foi citado na elaboração de uma lei, ou virou notícia em jornais no Brasil, ou de outros países (Figura 1) e, portanto, chegou ao conhecimento de um número ainda maior de pessoas.
Métricas alternativas em debate
No final de setembro, a cidade de Toronto, no Canadá, hospedou a quarta edição da principal conferência sobre altmetria, a 4AM Conference, reunindo cerca de 140 participantes de 15 países, entre especialistas e representantes de empresas que fornecem dados de acesso online de artigos e revistas científicas. O evento deixou claro que o potencial das métricas extraídas do ambiente online é tão grande quanto os desafios para que se estabeleça como um complemento às métricas tradicionais. Pelo Twitter, Jason Priem, que cunhou o termo altmetrics, brincou dizendo que não seria uma conferência sobre altmetria se não debatesse o quanto o termo é limitado.
As principais queixas dos especialistas estão ligadas a falta de transparência das empresas que geram dados altimétricos, limitações para identificar indicadores que levem em conta as especificidades de cada área do conhecimento e países, produzindo um viés que compromete o alcance e a credibilidade dos dados produzidos.
Fato é que as principais bases de dados acadêmicas internacionais (como Web of Science e Scopus), regional (como o SciELO) e revistas de prestígio (como a Nature, Plos One e the Lancet) já adotaram os indicadores altimétricos para medir o acesso a suas publicações e artigos, mas falta uma compreensão melhor sobre como e quais dados estão sendo extraídos e o que eles significam.
Limitação de dados
Exemplo disso são os dados da maior rede social do mundo, o Facebook. São mais de 2 bilhões de usuários, mas a rede fica pequena quando se trata do compartilhamento de artigos científicos. O Twitter, por outro lado, tem sido adotada como a rede preferida entre especialistas da altmetria pois os dados dele extraídos são mais completos e acessíveis do que da rede concorrente. Por esse motivo o Twitter tem sido descrito como mais relevante do ponto de vista acadêmico. Fato ou limitação de dados? Até onde temos visto, os dados coletados pelo Altmetric indicam que há mais atividade ao redor do compartilhamento de artigos científicos no Twitter. No entanto, em países latino-americanos como o Brasil, o Facebook se mostra mais relevante até mesmo para o uso acadêmico, porém, o acesso aos dados é limitado, fazendo com que o Altmetric consiga registrar apenas as atividades que ocorrem em grupos ou páginas institucionais cujas postagens são públicas. Ou seja, a conversa que ocorre entre pessoas, mesmo quando as postagens são "públicas" (abertas para qualquer usuário) não estão sendo contabilizadas! Questão a que temos nos debruçado.
Mesmo no Twitter os usos são distintos dependendo do país e, portanto, deve-se levar isso em conta. Zohreh Zahedi, do grupo Centre for Science and Technology Studies (CWTS) da Leiden University, apresentou análise de artigos compartilhados em todo o mundo mostrando enorme presença dos EUA e Reino Unido e menor participação de países com significativa produção científica como a China, Rússia e Alemanha, resultado de diferentes motivações de usos da rede social, nada relacionado à relevância dos artigos. “Precisamos tomar cuidado para a altmetria não causar uma divisão”, afirmou Zohred se referindo ao fato de usarmos uma régua para todas as medidas.
Fereshteh Didegah, minha colega na SFU, apresentou análise sobre a qualidade do engajamento social (disseminação, consulta ou avaliação) ao redor de artigos compartilhados no Twitter. Enquanto a maioria dos tweets apenas compartilha o artigo, sem que haja qualquer comentário, um olhar atento sobre o alto número de interações revela, por exemplo, que um artigo pode ser citado muitas vezes por perfis distintos, clones de uma mesma pessoa. Ou outro que se tornou popular por menções negativas sobre o uso de uma sigla similar a uma palavra de baixo calão.
Especificidades em construção
Outras limitações têm sido contornadas. Para se levar em conta as especificidades das ciências humanas e sociais, Rebecca Kennison, da KIN Consultants, apresentou a iniciativa HumanMetricsHSS que propõe o desenvolvimento de indicadores altimétricos mais específicos. Ela falou da importância de indicadores reconhecerem e incentivarem valores acadêmicos como equidade (estudos que levem em conta a justiça social por exemplo), abertura (compartilhamento e publicação de dados abertos), comunidade (engajamento com o público), qualidade (relativa a ousadia para inovar, ser original e atuar na fronteira do conhecimento) e “colegialidade” (termo que envolve ética, generosidade e empatia no ambiente de trabalho). Nesta mesma linha, levantou-se a possibilidade das métricas alternativas poderem indicar equidade de gênero como relevante para as políticas científicas.
O próprio conceito de impacto social foi questionado por Juan Pablo Alperin, da SFU, para que possamos entender o que consideramos impacto. “Não podemos apenas olhar para as coisas como se fossem iguais. Estes indicadores estão realmente indicando o que queremos que indiquem? ", questionou. O desejado “impacto social da ciência" pode estar ocorrendo em níveis posteriores ao compartilhamento de links de artigos e que ainda não conseguimos capturar.
Parte dos desafios expostos pelos participantes da Conferência 4AM estão presentes nas recomendações em prol da ciência aberta e do uso da altmetria apresentada por Judit Bar-Ilan, da Bar-Ilan University, e Isabella Peters, da Kiel University. Entre elas estão destacadas a necessidade de incluir sempre medidas quanti e qualitativas, priorizar a transparência e a precisão dos dados, fazer um uso melhor de métricas existentes para a ciência aberta, medir o que importa e não o que “é facilmente coletado e medido” e encorajar o desenvolvimento de novos indicadores. "Nem tudo que conta tem sido contado e nem tudo que é contado conta", brincou Judit sobre as brechas que os especialistas e usuários da altmetria enfrentam. As recomendações compõem o relatório encomendado pela União Europeia em 2015 para promover o acesso aberto da ciência em 2020.
Para mudar o quadro da altmetria, especialistas também lembraram que ainda há grande resistência de cientistas em usar redes sociais e medir o impacto de seus trabalhos fora da comunidade acadêmica. Eles também apontaram que é necessário que as agências de financiamento à pesquisa adotem e incentivem o uso de outros indicadores e redes sociais na prática acadêmica.
Diante da visão limitada que cada indicador pode proporcionar sobre a produção científica, melhor é nos inspirarmos nos olhos multifocais dos insetos nos quais cada micro-lente é capaz de capturar uma pequena fração do ambiente, mas todas juntas geram uma visão mais próxima da realidade.
