Nos idos dos anos 1980 eu era estudante e enfrentava a minha socialização profissional, durante a qual aprendemos os ritos e valores acadêmicos. Fazia parte dessa socialização ter uma ideia de quais eram as melhores universidades no mundo e no país. Conversava-se bastante sobre isso, lia-se artigos, percorrendo nomes de autores e seus endereços, atentava-se ao que diziam os palestrantes de além divisa e fronteira. A percepção que ganhamos nessa trajetória de formação é a de um conjunto de grandes universidades, aqui e acolá, às quais deveríamos estar antenados. Esse conjunto é o mesmo que 20 ou 30 anos depois alterna as posições na liderança dos cada vez mais onipresentes e pouco cientes rankings globais de universidades. Não precisávamos dessas listas para dizer o que já se sabia a partir de experiências bem mais sólidas. Mas os rankings estão aí, reproduzindo com tabelas de indicadores o que já era conhecido. Com alguns cliques vislumbramos esses indicadores que magicamente compõem a classificação. Aprende-se bastante com essa atenção adicional e já escrevi um tanto sobre o tema [I] e pensei em passar um bom tempo sem voltar a escrever a respeito. No entanto, uma nova leva desses oráculos da qualidade entra em cena com suas manchetes: "Brasil perde liderança no ranking...", "Universidades brasileiras pioram...", "Reitor admite preocupação com queda...", além da ladainha de que não temos nenhuma universidade entre as 100 melhores do mundo. A realidade é outra, nada se perdeu, nem houve piora, nem há preocupação e nem faz sentido almejar medalhas. O problema com os rankings é que seus fruidores, tanto nas universidades como fora delas, tomam seu valor de face, seja para se orgulhar, ou para justificar e “embasar” as teses, que aparecem após um "estão vendo, há tempos eu digo que..." Parecendo obras de demiurgos, assume-se o valor de face dos rankings e não o valor real. Poucos são os que se debruçam sobre os rankings e como são construídos (dá trabalho e se alguém tem uma hipótese pronta, escolhe-se o ranking que lhe convém para corroborá-la e pronto). Para o título dessa coluna eu pensei primeiro em "manifesto contra os rankings", mas eles são apenas negócios como outros quaisquer, interessantes para serem estudados criticamente, mas muitos preferem ser simplesmente colonizados por eles.
Não é assim, no entanto, nas metrópoles que têm as universidades líderes dessas listas. Por lá, tanto a academia, quanto a imprensa investigam mais o valor real da coisa. Não é preciso participar de workshops internacionais sobre o tema, basta o Google e algumas palavras-chaves. Falando em listas, vai uma reduzida.
"O Problema com os rankings de universidades" (novembro de 2018): [II]
"Outras fontes de informação (para um egresso do ensino médio escolher uma universidade) vêm na forma de rankings de universidades e, enquanto eles parecem ser imparciais e se apresentam como ferramentas lógicas para tomar decisões complexas, são de fato de uso limitado e podem ser muito enganosos."
"Dados de rankings globais de universidades são falhos"- HEPI (dezembro de 2016): [III]
"Governos e instituições deveriam ignorar os rankings internacionais de universidades porque eles 'não são confiáveis' e 'metodologicamente falhos', de acordo com uma nova análise do “Think Tank” sobre educação superior do Reino Unido HEPI (Higher Education Policy Institute)".
"Não caia na armadilha dos rankings para avaliar uma universidade" (agosto de 2013): [IV]
"A ideia de que devemos auditar as universidades é, em muitos aspectos, boa. Isso pode ser usado para que as universidades sejam responsáveis (accountable) e como indutor de mudanças. Rankings de universidades – como os do Time Higher Education – oferecem um mapa sedutor do complexo território da educação superior.”
“Devemos, no entanto, desconfiar das tentativas de reduzir uma entidade complexa como uma universidade a um conjunto de pontuações. Como em todo exercício de medição, nossas questões não devem se limitar ao que é computado, mas o que se escolhe deixar de fora (dos rankings)."
E, obviamente, os rankings (protegendo seu negócio) revidam:
"Crítica à metodologia do Ranking QS foi mentirosa e difamatória" (julho de 2017). [V]
É preciso abrir a janela do assunto e observar com cuidado, com bem fui lembrado por Flávio Ferreira, que compartilhou a imagem reproduzida aqui e lembrou que a sugestão vale também para cientistas e pesquisadores.
Para abrir mais uma janela, sugiro a leitura atenta dos trabalhos da professora Ellen Hazelkorn, que discute o papel dos rankings, que vieram junto com o movimento de globalização do ensino superior. Atenho-me aqui a alguns elementos compartilhados no interessante blog "Elephant in the lab", no texto "Dúbia prática dos rankings de universidades", [VI] que há quatro meses "saiu do forno”, para usar uma expressão querida de muitos pesquisadores. Recorro a algumas citações diretas, intercaladas com comentários.
"Existem mais de 18 mil instituições de ensino superior (“university-level”) em todo o mundo. As que se classificam no top-500 estariam entre os top 3% mundiais. No entanto, através de uma lógica perversa, rankings geraram a percepção no público, legisladores
(“policymakers”) e “stakeholders” que apenas aquelas universidades entre as top-20, top-50 ou top-100 são dignas de ser chamadas de excelentes."
Pensando nos rankings THE [VII] e QS, [VIII] as listas incluem 1000 universidades, o que ainda é restrito. Um mapa muito melhor, que leva em conta apenas a pesquisa é provida pelo Scimago Institutions Ranking, [IX] que inclui mais de 6.300 instituições. Hazelkorn continua e acolhe vários aspectos das aspas acima de outras publicações.
"Rankings globais confiam em informações internacionais comparáveis. Porém, existem diferenças maiores no contexto, acurácia, confiabilidade e definição dos dados. As organizações dos rankings não fazem auditoria dos dados e, mesmo se fizessem, o contexto continua importante."
"Alega-se que as universidades aprendem a usar seus recursos nos lugares exatamente adequados e submeter os dados da maneira exata para, assim, ser capazes de manipular os rankings. Um contundente escândalo foi o dos dados do Trinity College de Dublin, no qual se alega que os pesquisadores foram instruídos em como preencher os questionários dos rankings."
Sim, alguns rankings levam em conta notas de reputação através de questionários. O peso dessas pesquisas de opinião chega a 50% do total, como no caso do QS. Nesse contexto (se contexto é importante para as universidades, também o é para os rankings) vale a observação de Hazelkorn, ranking é um bom negócio:
"Ao longo dos anos, as organizações de rankings tornaram-se muito afeitas à expansão de um modelo de negócios lucrativo. Os últimos anos têm testemunhado um crescente relacionamento corporativo, incluindo fusões entre empresas de análise de dados, editoras e de rankings."
Enfim, essa é a balbúrdia dos rankings e por aqui discute-se muito a tabela do brasileirão, sem saber o que é futebol. No final, Ellen Hazelkorn dá as suas dicas sobre o que não deve e o que deve ser feito para evitar a balbúrdia.
Não deve ser feito:
“Mudar a missão da instituição para se adaptar aos rankings.”
“Usar os rankings como principais (ou únicos) indicadores para determinar objetivos e avaliar performance.”
“Usar rankings subsidiar decisões sobre diretrizes e alocação de recursos.”
“Manipular dados e informação pública com a finalidade de subir nos rankings.”
O que deve ser feito:
“Assegurar que a universidade tenha uma estratégia apropriada e realista e um programa de performance” (próprios)
Usar rankings apenas como parte de um sistema de avaliação, qualidade e benchmarking.”
“Ser responsável e prover informação pública de boa qualidade sobre os resultados de ensino, impacto e benefícios para os estudantes e a sociedade.”
“Engajar em uma campanha de informação para ampliar o entendimento da mídia e do público sobre as limitações dos rankings.”
Seguindo essa última recomendação, pulo da balbúrdia dos rankings para um ranking da balbúrdia, mas não daqui e, sim, dos EUA. Parte da desinformação nas manchetes deste lado do Equador é a exaltação da metrópole e a atribuição das alegadas mazelas ao nosso suposto atraso, sem entender que a universidade, apesar de cada contexto, tem suas universalidades. O exemplo é um ranking 100% de opinião, portanto não confiável, mas cujo conjunto de indicadores diz muito sobre o que são universidades, pelo menos lá nos Estados Unidos. Segundo Ellen Hazelkorn, rankings nacionais apresentam (em geral) um número maior de variáveis. The Princeton Review, que não tem nada a ver com a universidade homônima, é também um negócio de preparação para o ingresso no ensino superior. Assim, o ranking que produz [X] é um guia para pais e filhos, que querem ingressar em uma universidade. O ranking anual (estão na 62ª edição) ordena as top-20 (de um total de 384 instituições) em oito diferentes categorias. A primeira é chamada de acadêmica, com listas das 20 mais em quesitos como “melhor experiência em sala de aula” ou “melhores laboratórios”. Além disso, apresentam ranqueamentos por oposição: “estudantes mais estudiosos” contra “estudantes menos estudiosos”. Nesse item, as respostas dos veteranos colocam o Caltech e a Universidade da Califórnia-Santa Barbara entre os top-20 no primeiro e no segundo ranking, respectivamente. Curioso, não? Pelo ranking global do THE, o Caltech é top-5 e o campus de Santa Barbara da Universidade da Califórnia está na 52ª segunda posição.
Nada mal para estudantes em Santa Barbara, que não estudam. Na categoria qualidade de vida temos o ordenamento das melhores (e piores) para estudantes mais (menos) felizes, por exemplo. Na categoria Política, temos o ranking de instituições com os “estudantes mais conservadores” e “estudantes mais liberais” (de esquerda). Se você for de direita, envie seu(sua) filho(a) para o Grove City College, mas se for de esquerda convença-o(a) a ir para o Bryn Mwar College.
Mas o Princeton Review oferece listas ainda mais curiosas do que essas com nomes igualmente curiosos: “Um monte de cerveja” versus (“Tem leite?”). Se a preocupação dos pais não for com a cerveja, mas afastar o(a) filho(a) de algo semi-ilícito que possa ser tragado, não permita a inscrição na University of Wisconsin-Madison, mesmo que essa instituição esteja entre as Top-50 do mundo, novamente segundo o THE. É melhor que estude na Academia Naval dos Estados Unidos, que não está entre as 1000 melhores, novamente de acordo com o ranking THE. O Princeton Review, como negócio, entende do negócio e, através de seus rankings, revela a diversidade e complexidade das universidades e não briga com elas. É uma leitura divertida, além de uma informação a mais para ajudar na tomada de decisões. Uma rápida olhada sugere que por lá, em geral, ou você evita a “balbúrdia” ou vai para uma universidade de excelência (não gosto desse adjetivo, mas seu uso torna a ideia mais clara para os leitores).
Como se diz por aí: negócios, negócios, universidade à parte.
[I] - Entre outros: https://www.unicamp.br/unicamp/ju/artigos/peter-schulz/cada-universidade-uma-sentenca https://www.unicamp.br/unicamp/ju/artigos/peter-schulz/rankings-de-universidades-usufrua-com-moderacao
[II] - https://www.studyinternational.com/news/the-problem-with-university-rankings/
[III] - University World News, artigo de Brendan O'Malley
[IV] - https://theconversation.com/dont-fall-into-the-rankings-trap-when-assessing-a-university-17124
[VI] - https://elephantinthelab.org/the-accuracy-of-university-rankings-in-a-international-perspective/
[VII] - https://www.timeshighereducation.com/world-university-rankings
[VIII] - https://www.topuniversities.com/university-rankings
[IX] - https://www.scimagoir.com/
[X] - Achado de Flávio Ferreira a partir de uma conversa sobre festas
