Perguntas são mais importantes do que respostas. Várias citações dizem mais ou menos isso, para todos os gostos, de Albert Einstein a Jiddu Krishnamurti, mas o assunto é sério, pois é exercício imprescindível para a formação do pensamento crítico. Parece que temos certa tradição cultural de não questionamento em salas de aula e seminários, pelo menos era o que eu sentia como estudante de graduação (e pós-graduação) no século passado. Em uma palestra, por exemplo, perguntas são importantes para conseguir ir além da simples transcrição oral de um artigo, muitas vezes já lido anteriormente pela plateia, como ocorre muitas vezes. O questionamento é a segunda chance para o palestrante mostrar, digamos, excelência, através das respostas e novas perguntas. Se não perguntamos, a percepção da qualidade do que acabamos de ouvir, ou a de quem disse, fica prejudicada. Voltando à penúltima frase, excelência não é a melhor palavra, mas a escolha foi proposital, pois aparece no título da coluna e tem uma definição curiosa nos dicionários: excelência é a qualidade do que é excelente. E excelente significa ótimo ou perfeito. Deixando a perfeição de lado, ótimo significa muito bom, que significa excelente. Enfim, o que é excelência?
Excelência é proclamada nas missões de diferentes universidades mundo afora e ninguém questiona muito essa retórica usada de múltiplas formas para quase qualquer coisa ligada a ensino, pesquisa e extensão. Se alguém perguntar, alguém saberia responder sem cair na circularidade dos dicionários? Na hipótese de termos uma resposta (e na qual acreditamos), saberíamos reconhecer a excelência? Reconhecer algo muito bom sem referências prévias. Tive uma experiência recente desse reconhecimento, quando assisti a uma palestra de um ilustre desconhecido (para mim) há poucas semanas. O ilustre desconhecido era Cameron Neylon, a quem já me referi neste espaço [I]. Depois da palestra eu encontrei em um sítio de compartilhamento suas palestras anteriores, sendo que emprestei o título de uma delas: “Excelence is bullshit”. Encontrei também um artigo seu em coautoria com Samuel Moore, Martin Paul Eve, Daniel Paul O’Donnell e Damian Pattinson, publicado em 2017 (acessível pelo portal Nature, agora sim!): “’Excelência somos nós’: a pesquisa na universidade e a fetichização da excelência” [II].
O artigo começa por expor a saturação da retórica da excelência nas universidades e agências de fomento. Tendo em mente a pesquisa, de um modo geral, excelência significaria publicar bastante em revistas de impacto, gerando muitas citações. Os autores do artigo na Nature, no entanto, perguntam o que o termo realmente significa, apesar do seu peso político na construção de reputações e na disputa por recursos escassos. O longo texto revela a ausência de significação epistêmica desse termo tão frequente nos discursos e argumenta que “excelência não é excelente” e, além disso, “seu uso não qualificado seria uma retórica perniciosa e perigosa, que abala os próprios fundamentos da boa pesquisa e erudição.”
A desconstrução é contundente e subsidiada por estudos prévios, devidamente citados, para cada questão colocada. A primeira é justamente sobre o que seria excelência. Separar o joio do trigo, ou seja, o não excelente do excelente, “diz pouco sobre a importância da ciência em si, mas muito sobre quem toma as decisões”. Para pular para a segunda questão, reproduzo uma citação direta:
“ao usar um sistema humano de filtragem, a coisa mais importante sobre a qual precisamos ter informações não é tanto sobre o dado a ser filtrado, mas sim sobre o filtro humano em si: quem toma as decisões e por quê. Portanto, em um sistema de revisão por pares, a atividade crítica não é a revisão dos artigos que são publicados, mas a revisão dos revisores.” [III]
É a deixa para a questão fundamental: a “excelência” é boa para a pesquisa? E o problema continua para os autores do artigo na Nature, listando uma miríade de trabalhos que se referem à dificuldade do mundo acadêmico em reconhecer a excelência. Esses trabalhos verificam que artigos inicialmente rejeitados (por pares), acabam sendo publicados em outras revistas de prestígio similar, o que os autores chamam de falsos negativos. O efeito, além de demonstrar a dificuldade da própria academia em reconhecer o valor que proclama (excelência), ainda se revela pouco eficiente, dado o enorme volume de trabalho no extenso processo de ressubmissão e reavaliação de trabalhos. Se existem falsos negativos, pior é a existência de falsos positivos. Outro estudo citado sugere que autores mais citados têm chance menor de receber financiamento do que aqueles menos citados, mas melhor conectados socialmente aos grupos decisórios das agências.
Exemplos se sucedem, evidências de que a retórica da excelência se associa a outras questões perniciosas são discutidas e subsidiadas por mais de 150 referências. Na sequência: “fraudes, erros e mentiras”. Notas sobre fraudes e erros aparecem com certa frequência na imprensa, mas e mentiras? São os exageros retóricos em projetos e nas reivindicações de descoberta nos artigos, muitas vezes feitos às pressas e sem o cuidado necessário, somente para garantir a prioridade intelectual, que assim garante a recompensa. Um bom exemplo aparece no relato publicado no The Guardian na seção Acadêmicos Anônimos [IV]. A pergunta seguinte é “por que pesquisadores se engajam nesses tipos de atividades dúbias?”. A resposta a essa pergunta, também sustentada por referências, estaria ligada à competição por recursos escassos no contexto da retórica pela excelência. É o que transparece no relato anônimo mencionado logo acima, que não faz parte das referências de Neylon e colaboradores.
A saga continua: seguem outros prejuízos para a boa pesquisa promovidos pela retórica: viés de confirmação (das hipóteses “boas”) e o “efeito de declínio” [V]. Esse efeito se refere à diminuição nas evidências apresentadas com o passar do tempo em trabalhos subsequentes ao primeiro, que apresenta um dado resultado. Ou seja, uma vez publicado, estudos subsequentes seriam cada vez menos rigorosos no escrutínio do mesmo resultado. Efeito intimamente relacionado com o viés contra a replicação de pesquisas, que é fundamental para a ciência, mas não garante “excelência” ao pesquisador, que precisa apresentar sempre resultados novos. Empresto mais uma citação direta:
“Normas de publicação enfatizam resultados novos e positivos. Desse modo os incentivos disciplinares encorajam projetos, análises e decisões que suscitem resultados positivos e ignorem resultados negativos. Relatórios anteriores demonstram como esses incentivos inflam a taxa de efeitos falsos na ciência publicada. Quando os incentivos favorecem a novidade frente à reprodução, resultados falsos persistem sem serem desafiados, reduzindo a eficiência no acúmulo do conhecimento.” [VI]
Os problemas não param, a retórica da excelência também tende a promover a “excelência” em si, em vez da ciência como instituição. Como assim? Um programa de fomento concentrando-se nos “melhores e excelentes” pode ter o efeito de que a pesquisa seja focada em problemas para os quais a “excelência” possa ser obtida mais facilmente, em vez de problemas, cuja solução poderiam beneficiar mais o bem comum. A tese colocada em debate por Neylon e coautores é de que, embora a “excelência” é anunciada como a maneira mais justa e eficiente de distribuir recursos limitados, ela de fato pode ter um efeito de empobrecimento da prática (pesquisa) que ela busca promover. Como exemplo, cita-se (entre outros) um estudo de caso que mostrou que para a pesquisa em biociências no Reino Unido a distribuição de recursos entre um número maior de grupos menores obteve melhores resultados nas métricas usadas para a excelência do que a concentração em poucos grupos maiores e “excelentes” [VII].
Por fim é levantada a questão da homofilia, a tendência de reforço de um cânone que privilegia sempre o mesmo modo de fazer ciência, pelos mesmos grupos com as mesmas práticas, aumentando a desigualdade na comunidade e com isso empresto a última citação direta:
“...dessa forma, o trabalho canônico começa progressivamente não somente a sobreviver, mas a moldar e criar a cultura na qual seu valor é produzido, transmitido e, por essa mesma razão, a perpetuar as condições de seu desenvolvimento” [VIII]
É uma variante, como observam Neylon e seus “parças”, do efeito Mateus [IX], observado por Robert Merton, pai da sociologia da ciência, há 50 anos: “excelentes” tendem a continuar ou ser mais “excelentes”, aumentando a desigualdade de reconhecimento. E de oportunidades.
Um trabalho não deve apenas sugerir a desconstrução de um pensamento hegemônico em si, mas apresentar alternativas. Em vez de uma narrativa em torno da “excelência”, deveria ser construída uma narrativa pela “soundness” (robustez, fiabilidade, integridade, enfim: pela pesquisa sólida e rigorosa) e “capacity” (várias acepções: capacidade, aptidão, competência). Essas narrativas seriam “vendáveis”? É possível uma mudança cultural? São as questões finais abordadas nesse excelente artigo. Os autores declaram que a tarefa não se exaure em um único artigo. E esta coluna também não é suficiente para apresentar apropriadamente todos os ângulos do problema, mas coloca “sua excelência, a excelência”, em debate. De qualquer forma, pelo que se coloca, excelência parece mais um logro, outra tradução para bullshit. Lembra o conto infantil, que meu pai lia para mim e eu, muitos anos mais tardes, lia para meus filhos e que ilustra este texto.
[I] https://www.unicamp.br/unicamp/ju/artigos/peter-schulz/lei-de-moore-da-publicacao-cientifica
[II] https://www.nature.com/articles/palcomms2016105
[III] Fitzpatrick K (2011) Planned Obsolescence. New York University Press: New York
[IV] https://www.theguardian.com/higher-education-network/2018/jun/15/is-competition-driving-innovation-or-damaging-scientific-research
[V] https://en.wikipedia.org/wiki/Decline_effect
[VI] Nosek BA, Spies JR and Motyl M (2012) Scientific Utopia: II. Restructuring incentives and practices to promote truth over publishability. Perspectives on Psychological Science: A Journal of the Association for Psychological Science; 7(6): 615–631.
[VII] https://peerj.com/articles/989/
[VIII] Herrnstein Smith B (1988) Contingencies of Value: Alternative Perspectives for Critical Theory. Harvard University Press: Cambridge, MA
[IX] https://pt.wikipedia.org/wiki/Efeito_Matthew
