Qual é a diferença entre o 15º e o 45º colocados? Muito pouca numa competição olímpica, as medalhas só vão até o terceiro lugar. Em um concurso com quinze vagas, um seria classificado e o outro entraria em uma lista de espera. Nesse caso, além do ordenamento (ordem na lista), aparece uma classificação, ou seja, divisão em classes diferentes: um leva a vaga e o outro não, assim não há diferença entre o 1º e o 15º na lista (ambos levam a vaga), mas ser o primeiro na lista de espera (16º no ordenamento geral) pode ser bem diferente do 30º nessa mesma lista (que é o 45º da primeira frase). Em resumo: um ordenamento é uma classificação, mas nem toda classificação é um ordenamento.
Mudando o gênero, podemos perguntar se a 23ª universidade de um ranking é mesmo melhor do que a 56ª. A primeira pertenceria a uma classe diferente, ou seja, além do ordenamento teríamos uma classificação? Não é nada claro, mas insistimos em chamar qualquer ordenamento de classificação. Seria, portanto, útil esmiuçar os indicadores que determinam as posições nos rankings de universidades e o que essa ordem quer dizer, além da ordem em si.
Na coluna passada [I] eu prometi um estudo de caso sobre isso, mas antes é necessário colocar algumas outras ideias e para isso compartilho a ideia de ranking de universidades como um dispositivo calculista [II]. Os autores do artigo referenciado na frase anterior argumentam que “o aparecimento dos rankings pode ser entendido apenas parcialmente a partir das motivações de transparência e prestação de contas em resposta às demandas e seus desdobramentos – internacionalização, globalização e racionalização de recursos”. Sustentam os mesmos autores que a popularidade desses rankings também não pode ser explicada somente pela mudança na governança de cunho neoliberal em ensino superior, pois ranquear está “enraizado nosso repertório cultural”. Observam ainda que a história, a lógica epistemológica subjacente e a base disciplinar dos rankings são ainda muito pouco discutidas. Nesse contexto, o artigo mencionado busca mostrar “que os rankings como uma tecnologia social tornam entidades altamente diversas – como as universidades – mensuráveis por meio de métodos quantitativos, ou, dito de outra forma, rankings tornam as universidades ‘calculáveis’”.
A “calculabilidade”, seguindo Callon e Muniesa [III] , é um processo com três partes. Primeiro, as universidades são desligadas de seu contexto original (história, lugar, missão...) e sua complexidade transformada em números, que são transferíveis e mais facilmente comunicáveis para um público mais amplo e permitem novas contextualizações, além do fato de que quantificações são estratégias eficazes na transformação de arranjos sociais em entes críveis e objetivos. Em um segundo passo, esses elementos descontextualizados (os números, os famosos indicadores) são comparados e articulados entre si. Em uma terceira etapa, uma lista precisa ser produzida, através de uma integração dos indicadores, e apresentada na forma de um ranking uniforme (mas de entidades dessemelhantes). No estudo de caso prometido observam-se esses três passos.
O que segue é a análise dos indicadores para as 40 melhores universidades de acordo com o último ranking QS para os países do BRICS [IV]. Os indicadores escolhidos aqui são cinco de seis que entram no cálculo do ranking global: reputação acadêmica, reputação de mercado (que eu chamei antes de empregadores), razão docentes por estudante, citações por docente (que é diferente de citações por artigo) e proporção de docentes estrangeiros. Deixei de fora só o indicador de proporção de estudantes estrangeiros. Esses indicadores estão descritos na coluna anterior e são os usados para o ranking global, cujo ordenamento leva em conta pesos diferentes para cada item. Esses pesos não são os mesmos no ranking para os BRICS, que, além disso, inclui outros indicadores, como também já comentado na coluna anterior. Assim é possível que haja troca de posições entre as universidades de um para outro ranking [V], mas não importa muito aqui, pois o objetivo é verificar relações entre os indicadores dessa amostragem de 40 universidades, que estão em ambos os rankings (Global e BRICS). Para um estudo de caso, parece uma boa amostragem (40 em 1000), pois aparecem sete entre as 100 primeiras no ranking global, várias entre as 100 e 200 da lista global e outras ainda até as faixas incluindo as 600 mais do planeta. É importante ainda observar que todos os indicadores são normalizados, variando entre 0 e 100.
Os gráficos a seguir foram realizados pelo Excell (que todo mundo pelo menos ouviu falar), incluindo as linhas (ou seja, retas) de tendência. No entanto, para verificar se existem ou não correlações entre os indicadores, optei por uma ferramenta um pouco mais sofisticada: o coeficiente de correlação de Spearman, que também é facilmente calculável [VI]. O valor de R (o tal coeficiente) pode variar entre -1 (um indicador diminui perfeitamente com a aumento do valor do outro) até 1 (os dois indicadores crescem de mãos dadas). R=0 significa nenhuma correlação entre eles. E os valores intermediários (como veremos em todos os casos a seguir)? Os manuais de estatística não apresentam um acordo preciso, mas apresento um que dá o espírito da coisa [VII]: R até 0,19, a correlação é “muito fraca”; entre 0,2 e 0,39, “fraca”; entre 0,4 e 0,59, “moderada”; entre 0,6 e 0,79 temos uma correlação “forte”; e, finalmente, entre 0,8 e 1, a correlação é “muito forte”.
Com isso temos todos os elementos para “interpretar” os gráficos, mas resta escolhê-los. O procedimento adotado é baseado na percepção de hipóteses que circulam pelos campi universitários por aqui e as correlações entre indicadores quantitativos poderiam dar suporte (ou não) a essas hipóteses.
A primeira hipótese é a de que um número grande de estudantes implicaria em um baixo indicador de docentes por estudante. A questão surge com a discussão, por exemplo, do aumento do número de vagas, que só seria possível com o aumento das turmas e/ou o número de turmas (ou ensino a distância?) no cenário hegemônico de racionalização de custos. O gráfico (a) da figura abaixo mostra a relação entre os indicadores “número de estudantes” e “razão docente/discente”. A linha de tendência sugere que, de fato, quanto maior a universidade, piora a disponibilidade de docentes por estudante, mas o coeficiente é R=-0,18, ou seja, a (anti) correlação é “muito fraca”. Em grande parte porque a dispersão dos dados é enorme. O que isso, por sua vez, sugere? Identifica o descolamento que um ranking causa: o que vemos nesses dados é que cada universidade tem uma história diferente, está em um contexto diferente e, possivelmente, entende sua missão de forma única. Assim, cada universidade responde de forma única aos seus desafios. Vai aqui o alerta: rankings promovem a competição e não o conhecimento. Uma competição que ameaça a diversidade, que a dispersão dos dados acima (e abaixo) demonstra ainda existir. Para verificar a extinção dessa diversidade seria necessário um estudo diacrônico desses indicadores, mas seguiremos conferindo a diversidade sincrônica de agora.
Uma segunda hipótese que ronda as cantinas universitárias é de que a pesquisa seria prejudicada se os professores tiverem uma carga didática muito elevada, que, traduzido para a disponibilidade dos indicadores em questão, significa: o impacto da pesquisa produzida na universidade seria afetado se a razão de docentes por discente diminuir. A figura (b) parece negar essa hipótese, o coeficiente é R=-0,36 (anticorrelação “fraca”), ou seja, quanto mais docentes, pior seria a “qualidade” da pesquisa. Mas atenção, como é fácil mentir com estatística [VIII], devemos talvez excluir os casos de certa forma anômalos destacados pelo círculo vermelho no gráfico: mesmo assim correlação seria inexistente. Parece difícil de acreditar? Das duas, uma: ou nossas discussões internas são pautadas por indicadores equivocados (usamos os mesmos do ranking) ou o ranking no fundo não diz grande coisa. Ou uma combinação das duas coisas. Novamente a grande dispersão dos números sugere o efeito de descolamento das universidades de seus contextos na confecção do ranking. Cada universidade, uma sentença.
Outro tema frequente é a demanda por internacionalização como instrumento de “melhoria” da universidade [IX] (pelo menos se entendermos melhoria como ascender no ranking). O indicador de internacionalização no ranking global é a taxa de professores estrangeiros (que é apenas uma das modalidades de internacionalização) e o indicador de “qualidade” é novamente o de citações por docente, gráfico (c) abaixo. Parece que sim, internacionalizar aumenta o impacto, mas R=0,17, na pior das hipóteses uma correlação “muito fraca”. E assim, dada a dispersão dos dados, mais uma vez, cada universidade, uma sentença.
Finalmente uma correlação forte aparece entre as reputações, de mercado e acadêmica: gráfico (d), com R =0,67! E como são obtidos esses indicadores? Através de questionários (milhares de respostas, às vezes) enviados para os pares da academia ou empregadores (diretores de RH?). Recupera-se, talvez, parece, algo do contexto de cada universidade. A correlação forte não significa, no entanto, causalidade: gostaríamos de acreditar dentro da universidade de que a reputação acadêmica causa a de mercado, mas se invertermos o gráfico a correlação continua ali, mas a hipótese de que os departamentos de RH das empresas determinem o conceito acadêmico já seria mais inusitado. Seria possível, no entanto, que ambas as reputações tenham uma causa comum, que se correlacionaria com as duas? Resta-nos, portanto, buscar isso nos indicadores, o que é o tema dos gráficos na segunda figura.
Uma possibilidade um pouco tortuosa seria de que a reputação no mercado teria algo a ver com a qualidade de ensino, que talvez fosse indicada pelo comprometimento da universidade via uma boa oferta de docentes por discente. De qualquer forma é esse o indicador disponível. O gráfico (a) não sugere isso: novamente grande dispersão de números e um coeficiente R=0,046 (ou seja, nenhuma correlação). Então o que traz reputação no mercado? Nesse sentido o ranking QS é uma caixa-preta e não ajuda a responder a pergunta. Por outro lado, se uma universidade é grande, teria mais egressos e seria mais conhecida pelo tal mercado. Isso aparece no gráfico (b) e, atenção, apesar da grande dispersão dos dados, ao menos a correlação é “muito fraca”, R=0,18. Novamente, o que daria reputação? Que tal o contexto, que é eliminado na feitura dos rankings, pelo menos segundo Callon e Maniesa.
Resta tentar entender de onde vem a reputação acadêmica, gráficos (c) e (d). Teria relação com o tamanho da universidade? Parece que sim, R=0,34 para os pontos no gráfico (c), mas ainda é apenas uma correlação fraca, embora faça sentido: quanto maior a universidade, mais conhecida ela seria entre os pares da academia em outros lugares. O que imagino que todos pensem é que quanto maior o impacto (reconhecimento) da produção científica, maior a reputação acadêmica, mas novamente o gráfico (d) mostra apenas R=0,38, na fronteira entre correlação “fraca” e “moderada”.
A representação desses conjuntos de números não sugere nenhuma identificação clara de tendências ou correlações entre indicadores, que permitiriam entender melhor o posicionamento ou as características de cada universidade. A saída seria coletar os indicadores de centenas de universidades do ranking global buscando identificar agrupamentos, que talvez queiram dizer alguma coisa [X]. Ou então vasculhar os indicadores que não são considerados no ranking Global, mas para o do BRICS: docentes com doutorado, artigos por docente e citações por artigo (que é diferente do usado no global: citações por docente). Buscando esses indicadores (agora entre as 50 melhor posicionadas) nota-se que são normalizados apenas entre as universidades da região e com isso têm em média valores mais altos do que nos gráficos acima. Mas a busca revela-se também pouco reveladora. Como exemplo, o gráfico abaixo (esquerda) com um indicador novo (produção científica na forma de média de artigos por docente) em função da razão docente por discente (outro teste da hipótese de que seria importante ter mais docentes dos estudantes para promover a pesquisa). O que se observa é, de novo, contraintuitivo, uma anticorrelação com um coeficiente R=-0,47, ou seja, “moderada”. Se retirarmos os outliers do círculo vermelho, qualquer correlação desaparece. Um pouco mais interessante é o gráfico de citações por docente em função do número de docentes (abaixo à direita). Um grupo de universidades com excelente razão docente/discente tem um impacto científico muito baixo. A correlação mais uma vez é “fraca”, R=-0,3, mas se também aqui excluirmos os outliers circulados em vermelho nesse gráfico, a correlação desaparece. Deve ser mencionado ainda que as universidades circuladas em um gráfico não são as mesmas das do outro. No entanto, no gráfico abaixo à direita podemos identificar (talvez) um agrupamento como o mencionado acima: todas as universidades circuladas são russas, incluindo tanto instituições abrangentes, quanto especializadas, variando da 7ª à 45ª posições no ranking para os BRICS e da 90ª à 355ª no ranking Global. Mesmo assim, finalmente a pista de um contexto.
Fortalece-se a sensação de que o ordenamento que esse ranking, QS BRICS, oferece para comunicados de imprensa não passa disso, fornecendo pouca informação útil para as universidades em si. O aspecto mais interessante é mesmo a grande dispersão dos dados, assinatura do descolamento dos contextos em que cada universidade está inserida (e onde, afinal, cumpre o seu papel) e a possibilidade de identificar agrupamentos que possam dizer alguma coisa. Nesse sentido, existe um ranking que escapa da sanha das listas e busca recuperar várias dimensões das universidades, permitindo posicionamentos sem ordenamentos e agrupamento de contextos para comparações com significado: trata-se do www.umultirank.org, claro que bem menos famoso que os outros que anunciam “vencedores”.
Para ter uma ideia de como o contexto de uma universidade é importante e determinante, apesar de ideias gerais compartilhadas, recomendo o estudo de Flávio Ferreira em sua tese sobre o movimento de expansão de vagas nas três universidades paulistas: apesar de motivadas pela mesma política, “o processo foi diferente em cada universidade e dependente da história de cada instituição e da concepção que os atores envolvidos têm de universidade” [XI].
Em outros lugares, esforços e preocupações para entender o papel e o impacto da universidade, para além dos rankings, também florescem. A tese de Wagner Cury Filho, orientada por Thomaz Wood Jr, é um exemplo disso: “Impacto da universidade na comunidade: um estudo de caso de uma instituição pública brasileira” [XII].
Olhando mais a fundo esse e alguns outros rankings, convenço-me de que é necessário olhar para outros lados. Os rankings viraram uma instituição com uma verdade com forte cheiro de falácia em relação à integração dos indicadores em uma lista. Por outro lado, sua desconstrução é relevante – rankings não devem ser consumidos, mas estudados [XIII].
[II] Mais uma dica que devo a Flávio Ferreira: From Eminent Men to Excellent Universities: University Rankings as Calculative Devices. Björn Hammarfelt, Sarah de Rijcke e Paul Wouters, Minerva, vol. 55, 391-411 (2017).
[III] Peripheral vision: economic markets as calculative collective devices. Michel Callon e Fabian Muniesa. (2005). Organization Studies 26(8): 1229–1250 (2005).
[IV] https://www.topuniversities.com/university-rankings/brics-rankings/2019
[V] Por exemplo, a sexta melhor do BRICS é a 90ª no global, enquanto que a 7ª do BRICS é a 59ª do mundo.
[VI] A plataforma social science statistics é uma bela ferramenta on line
[VII] http://www.statstutor.ac.uk/resources/uploaded/spearmans.pdf
[VIII] http://faculty.neu.edu.cn/cc/zhangyf/papers/How-to-Lie-with-Statistics.pdf
[IX] Nada contra internacionalização, pelo contrário: faz parte da ciência.
[X] Isso já foi feito, por exemplo, a partir de outro ranking com indicadores de impacto da produção científica, colaboração internacional e liderança. Visualization Of Ranking Data: Geographical Signatures In International Collaboration, Leadership And Research Impact. E. Manganote, M. Araujpo e P. Schulz, Journal of Informetrics, vol. 8(3), 642-649 (2014).
[XI] Esperemos que a tese esteja acessível em breve, enquanto isso, pelo Jornal da Unicamp
[XII] Também inédita ainda, mas tive o privilégio de fazer parte da banca de defesa.
[XIII] Ao chegar ao fim dessa coluna, questionei-me se não deveria transformá-la em um artigo acadêmico, mas a preparação do mesmo exigiria um tempo maior para cumprir o ritual imposto a esse tipo de publicação. Além disso, o processo de submissão e publicação seria ainda mais demorado e provavelmente o público atingido seria menor. O rigor, no entanto, é o mesmo e a metodologia é aberta para que qualquer leitor interessado possa verificar e ir além do que está escrito.
