Pesquisa pioneira revela limitações e impactos de rankings universitários

“Sou da lógica de que a gente só conhece o que a gente pode medir. Se a gente não mede, é percepção. Sua universidade é inclusiva? Mostre. Sua universidade é produtiva? Mostre”. Assim a jornalista e pesquisadora Sabine Righetti explica sua visão da necessidade de indicadores de desempenho da educação superior, sejam ou não consubstanciados em rankings. Righetti defendeu a tese de doutorado “Qual é a melhor? Origem, limitações e impactos dos rankings universitários”, defendida no Instituto de Geociências (IG) da Unicamp, como parte do Programa de Pós-Graduação em Política Científica e Tecnológica. A tese teve orientação do professor Renato Pedrosa, coordenador do Laboratório de Estudos sobre Ensino Superior (LEES).

A tese em si representa um levantamento pioneiro do que a literatura especializada traz sobre os impactos dos rankings universitários na gestão das universidades, nas políticas públicas e na decisão dos alunos, além da análise desses impactos sobre uma instituição específica, a Universidade de São Paulo (USP). “É o primeiro trabalho em português nesse sentido”, disse Righetti. “A literatura que uso é bem atual. Para ter uma ideia, uma de cada quatro referências que uso foi publicada a partir de 2011, ano em que comecei a tese”.

Durante o período de elaboração do trabalho, ela também participou da criação do Ranking Universitário Folha (RUF), publicado pelo jornal Folha de São Paulo, e que classifica as 195 universidades brasileiras com base em indicadores de pesquisa, ensino, percepção do mercado e inovação.

“Se os indicadores serão usados para definir políticas, ou para se valorar como universidade de qualidade, é outra questão. Agora, indicador tem que ter. De impacto social, de tudo”, disse. A pesquisadora lembra que, embora a avaliação da pós-graduação já tenha tradição no Brasil, por meio da atuação da Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), a avaliação da graduação é muito mais recente. “Só se começou a falar em avaliação da graduação muito recentemente, há toda a polêmica em torno do Enade (Exame Nacional de Desempenho de Estudantes), e ainda enfrenta uma reação negativa”.

Righetti menciona, como especialmente preocupante, a ausência de indicadores sobre a situação dos estudantes egressos das universidades. “Toda vez que vou apresentar o RUF numa instituição, a universidade ou a associação de classe dos docentes responde que o melhor indicador para se avaliar se uma universidade é boa é o egresso: afinal, onde está o egresso – está empregado, onde está, etc.”, aponta.

“Aí respondo: também acho. Onde está o seu egresso? Ninguém sabe. Nenhuma universidade brasileira, nenhuma instituição de ensino superior do país, sabe onde está seu egresso. Quer dizer, o país não sabe, o MEC não sabe, a gente está criando cursos, aprovando cursos, definindo políticas sem saber se quem faz Física se forma e trabalha em Física, se quem faz Jornalismo, Medicina... Não se tem a mais vaga ideia. Não existe esse indicador”.

História

Na elaboração de sua tese, a pesquisadora retomou a história dos rankings universitários. O primeiro, elaborado ainda na década de 80 pela revista americana US News & World Report, tratava apenas de universidades dos Estados Unidos, e tinha o propósito de orientar estudantes estrangeiros em busca de um bom lugar para fazer um curso superior naquele país.

“Imagine: são os anos 80, não existe internet, estou na China ou na Arábia Saudita e quero estudar nos EUA, mas não tenho a menor ideia de para onde eu vou”, descreve Righetti. “A US News percebeu a lacuna e falou, vou fazer um ranking. Só que, como a ideia inicial era orientar alunos, todos os indicadores do US News estão voltados para ensino. Visto hoje, é um ranking bem peculiar, porque é voltado para a cabeça do aluno”.

Essa peculiaridade resume uma das lições trazidas pelo estudo dos rankings universitários: as listagens e as classificações não são verdades absolutas, mas dependem dos critérios de entrada e do peso relativo dado a cada indicador. “Rankings medem o que se entende por qualidade de uma universidade. A questão é que o que se entende por o que é uma universidade de qualidade, muda”, resume a pesquisadora. “A literatura estima que existam 50 rankings nacionais, como o RUF, cada um específico para seu país. E eles são completamente diferentes. Porque o que se entende como uma universidade boa na China é completamente diferente de uma universidade na Rússia, na América Latina. Então, essa é a grande graça dos rankings: porque é subjetivo, é local, é regional”.

O trabalho do ranking da US News foi pioneiro, também, no impacto  social: criado para orientar estudantes, acabou se transformando num instrumento com efeitos muito além de sua proposta inicial. “O ranking começou a orientar tudo, até doação: um milionário vai doar dinheiro para uma universidade, se Harvard perde posição no ranking ele escolhe outra. E as universidades percebem isso”, exemplificou.

“Então, o ranking acabou servindo para uma série de funções: em política pública, em política de ciência, política de ensino, escolha do aluno, escolha do de gestor: porque as próprias universidades começam a se modificar para conseguir boas posições nos rankings”.

Mundo

Depois de uma primeira onda de rankings nacionais, em 2003 surge a primeira classificação global de universidades, o Ranking Acadêmico de Universidades do Mundo (ARWU, na sigla em inglês), publicada pela Universidade Jiao Tong, de Xangai. “É interessante ver que esse ranking vem de uma lógica muito diferente do americano”, disse a pesquisadora. “Nos Estados Unidos, era um grupo de mídia, com objetivos próprios, a organizar a lista. Os rankings nacionais que vieram depois, no Chile, no Canadá, da Alemanha, por exemplo, também eram de grupos de mídia”.

Já o de Xangai atende a uma demanda específica do governo chinês. “Eles queriam saber, na comparação com o mundo, como estão as universidades chinesas. E o governo fez isso pensando em investir nas melhores do país, era uma demanda muito clara”. Nesse momento, descreve Righetti, a China cria seu próprio conceito de boa universidade. “E que é muito diferente dos outros rankings. Por exemplo, no ranking chinês, uma universidade de qualidade tem que ter muitos ganhadores de Prêmio Nobel. Boas universidades são aquelas que publicam na Science e na Nature. Não publicou na Science e na Nature você não é uma boa universidade. Essa é a definição de uma boa universidade na China”.

Ela nota que essa lógica – “completamente orientado para pesquisa nas chamadas hard sciences” – é completamente diferente da do ranking US News, que analisa questões como o grau de seletividade da escola na hora de aceitar estudantes. “E as universidades chinesas não vão bem no ranking de Xangai”, aponta. “As duas melhores chinesas, que são Pequim e Xangai, elas estão no grupo 101-150, que é o mesmo grupo da USP. Mas vão melhor no ranking britânico Times Higher Education (THE), que tem duas chinesas entre as 50 melhores do mundo. Quer dizer, é uma coisa meio esquizofrênica: as universidades da China são melhor avaliadas na metodologia britânica do que na chinesa”.

Efeitos

Em sua tese, a pesquisadora não faz um balanço do impacto social dos rankings – se a influência dessas listagens sobre estudantes, governos ou mesmo gestores universitários é boa ou ruim. Mas isso não a impede de expressar uma opinião pessoal na entrevista: “Acho que nenhum instrumento de avaliação pode ser único. Talvez os rankings possam fazer parte de uma avaliação. Mas não podem decidir, só eles, uma política pública”.

Quanto à importância que as instituições de educação superior dão, ou devem dar, aos rankings, Righetti diz que “cada universidade tem de ver o que ela quer”.

“Por exemplo, para uma universidade que tem interesse em fazer pesquisa com colaboração internacional, o ranking é uma boa porta de entrada. Isso até eu fiz um estudo de caso da USP durante a elaboração da tese. Entrevistei o reitor e ele disse que, quando a USP começou a aparecer nos rankings, começou também a ter mais reconhecimento internacional. Você estar classificado como a melhor da América Latina, ou uma das melhores, num ranking que é muito disseminado no mundo inteiro pode ser uma porta de entrada. Se a universidade quiser isso, quiser colaboração internacional, pode ser interessante”.

Mas também há instituições que optam pela via oposta: “Por exemplo, a Minerva, que é uma universidade dos Estados Unidos criada por um ex-dirigente de Harvard, não está nem aí para ranking. O nicho dele é outro: quer criar uma lógica de ensino diferente, não faz produção científica”.

O mais importante, diz a pesquisadora, é a universidade definir seus objetivos e utilizar a informação contida nos rankings de acordo. “Se ela quer se firmar como uma universidade que é muito forte em extensão, que tem uma ação muito forte na sua região, que tem um impacto social, coisas que costumam não aparecer em rankings, que seja”.  

Righetti insiste, no entanto, que com ou sem ranking, quantificar é preciso: “Fala-se muito de indicadores que não estão nos rankings. Mas que também não são medidos, então como se sabe? Muitas universidades dizem que têm um impacto social forte na região em que atuam. Mas como elas medem isso? De repente a universidade vai mal nos rankings porque sua proposta é outra. Mas, sem indicadores, como ela sabe se está cumprindo a proposta?”

A pesquisadora viajou no início do ano para o Lemann Center, em Stanford (EUA), para transformar a tese em artigos e num livro que ampliará o trabalho inicial.