O comportamento em relação às citações e referências em artigos científicos já foi abordado em coluna anterior, em que é chamada a atenção à necessidade do rigor para esse componente do texto, pois sua falta pode levar à difusão de ideias equivocadas e até – precisamos estar atentos a isso – arranhar a credibilidade da ciência. A percepção é que a construção do corpo de referências, que é essencial, pode estar passando a ser praticada como um aspecto periférico na atual dinâmica acelerada da produção científica. Volto ao tema para compartilhar a dimensão do problema, não mais uma possível ameaça hipotética, mas já resultado de uma atitude licenciosa de parte (imagino ainda pequena) da comunidade científica. Licenciosidade que não tem nada a ver com seguir ou não as normas ABNT ou similares na formatação do texto científico, mas com o próprio propósito da atividade científica; como diz Bruno Latour, “o objetivo da ciência não é produzir verdades indiscutíveis, mas discutíveis”. Para verdades discutíveis o rigor é imprescindível, enquanto que para as indiscutíveis bastam os mitos. Vamos então a três casos para ilustrar melhor o problema.
O primeiro caso começou para mim em um relatório da Associação Europeia de Universidades de 2011, Global University Rankings and their impact [I], que na introdução traz um resumo da história desses rankings, no qual é mencionado que James Cattell entre 1910 e 1930 publica o American Men of Science, que ranqueia universidades estadunidenses pelo número de cientistas eminentes ligados às instituições, bem como pela proporção desses eminentes em relação ao corpo docente total. Essa informação vaga e resumida de uma história faz parte de uma linha do tempo que é reproduzida de uma referência devidamente citada no relatório: League tables as policy instruments: uses and misuses [II] de Jamil Salmi e Alenoush Saroyan, do Banco Mundial e da Universidade McGill do Canadá. O artigo deles é de 2007 e lá aparece de fato a mesma tabela cronológica de rankings. E qual sua origem? Os autores referenciam um capítulo de livro de Debra Stuart, de 1995, intitulado Reputational Rankings: Background and Developments [III]. Nesse artigo podemos ler que “James McKeen Cattell publicou o primeiro ranking verdadeiro, American Men of Science […] (Cattell, 1910)”. Novamente apenas uma menção e já era a referência da referência. Onde estaria a possibilidade de checar a informação em detalhe? O imbróglio é resolvido em um artigo de Eugene Godin, também de 2007 [IV], que apresenta um estudo detalhado e referenciando fartamente as fontes primárias, que evidenciam que o ranking de 1910 teve um precursor em 1906, de autoria do próprio Cattell. No seu trabalho, Godin ainda comenta que o American Men of Science é geralmente mencionado nas biografias de Cattell, que também foi editor da revista Science na época dos seus primeiros rankings, mas muito pouco estudado. Uma das poucas exceções seria um trabalho de Webster de 1985 (não citado por Stuart em 1995) [V]. O trabalho de Stuart revelou-se um beco sem saída para encontrar uma validação de uma informação mencionada em uma cadeia de referências, que no fim revela-se questionável. No entanto, os trabalhos de Stuart e de Salmi e Saroyan são precisos no que se refere ao escopo central dos respectivos trabalhos. O tal “primeiro ranking” é uma informação periférica nesses artigos, um “tempero a mais”, mas que disseminou um mito, que passou a ser usado em outros contextos e sobrevive, apesar de dados e informações contrárias em outros artigos.
Respostas diferentes em referências diferentes são comuns e um “pai dos rankings de universidades” talvez não seja uma coisa tão importante em si, mas disseminação de informações imprecisas e de lendas, é. Por isso pulo para um caso recente que teve repercussão nas redes sociais: a citação expressiva de um artigo que não existe. Quem relata esse caso é Anne-Will Harzing em seu post “O mistério da referência fantasma”. [VI]
Esse mistério foi detectado por um amigo do primeiro autor da referência fantasma sobre escrita científica: Van der Geer, J., Hanraads, J.A.J., Lupton, R.A., 2000. The art of writing a scientific article. J Sci. Commun. 163 (2) 51-59. Resulta que van de Geer (essa é a grafia correta) nunca escreveu esse artigo, pois a referência é fictícia e consta como ilustração em um guia de como formatar as referências em artigos de revistas editadas pela Elsevier. Mesmo assim foi citada cerca de 400 vezes segundo busca na base Web of Science. Pelo sítio do ResearchGate aparecem 344 citações. É de fato um fenômeno para um artigo que não existe. O mistério é desvendado em etapas por Anne-Will Harzing. A maioria das citações ocorre em artigos em revistas de anais de conferências, em particular na série Procedia, da Elsevier, sendo que algumas dessas revistas já foram interrompidas dada a baixa qualidade editorial. É um exemplo de aproximação perigosa entre um grande grupo editorial e o fenômeno das revistas predatórias, mas essa é outra história, também já abordada em outra coluna. Voltando à referência fantasma, Harzing analisou vários dos artigos que a citam e uma explicação para grande parte deles é o “copiar e colar” mal feito a partir de textos templates que contêm a referência fictícia como ilustração. Aparentemente essa referência era esquecida ali nos artigos submetidos às revistas: autores e editores em uma disputa de desleixo. Aliás, parece mesmo que esses artigos nunca tiveram revisão por pares antes de publicados, pois vejam, abaixo, na sequência, uma das pérolas detectadas por Harzing e que ilustra essa coluna. Um artigo que fala sobre a importância de polímeros condutores e cita um suposto artigo de escrita científica para fundamentar a ideia:
Harzing resume o mistério: um sistema acadêmico que incentiva a quantidade de publicações acaba evocando a lei dos grandes números, tornando esses “mistérios” numerosos o suficiente para serem visíveis. Harzing ainda comenta que menos mal que esse artigo tão citado não existe; pior seria se fosse um artigo real citado tantas vezes erroneamente. Esse na verdade é o nosso terceiro caso: artigos retraídos (retracted), seja por erro, fraude ou plágio e que continuam sendo citados após as suas retratações. É o que discute um artigo recente na revista Scientometrics [VII]. Aí sim temos ideias, hipóteses, dados e conclusões no mínimo questionáveis sendo propagadas. Seguir essa trilha eu deixo para o leitor através das referências aqui citadas, incluindo uma lista de artigos retirados e que continuaram sendo citados [VIII].
Resumindo esta história, que já se alonga demais, as referências merecem a devida reverência, pois senão fica a pergunta de outro artigo de Anne-Will Harzing: “estariam os erros de referências minando nossa academia e credibilidade?” Um guia de boas práticas para as referências ela sugere como resposta à pergunta nesta minha última referência de hoje [IX]. Espero que essas referências estejam todas corretas.
[II] https://collegerankings.files.wordpress.com/2011/10/27106854.pdf
[III] Publicado em “New Directions for Institutional Research”, nº 88, p. 13-20 (Editora Wiley)
[IV] Godin, E. (2007) From eugenics to scientometrics: Galton, Cattell, and men of science. Social Studies of Science 37(5) 691-728.
[V] D.S. Webster (1985), James McKeen Cattell and the invention of Academic Quality rankings, 1903-1910, Review of Higher Education, 8, pp. 107-121.
[VI] https://harzing.com/publications/white-papers/the-mystery-of-the-phantom-reference
[VII] Jaime A. Teixeira da Silva e Helmar Bornemann-Cimenti (2017) Why do some retracted papers contniue to be cited?, Scientometrics 110, 365-370.
[IX] https://harzing.com/blog/2016/04/are-referencing-errors-undermining-our-scholarship-and-credibility
