Sobre universidade e avaliação

ÁLVARO RODOLFO DE PIERRO

A Universidade é, por definição, um centro de produção e reprodução do conhecimento. Numa boa Universidade, ambos aspectos devem se desenvolver paralelamente e em harmonia. Qualidade no ensino está estreitamente ligada a um meio onde a produção intelectual é intensa e reconhecida.

Nesse sentido, criar e sustentar uma boa Universidade está intimamente associado à existência de mecanismos apropriados de avaliação da produção científica e intelectual. Esses mecanismos devem promover pesquisadores e/ou grupos de pesquisa, apenas considerando o mérito acadêmico, ou seja, a importância deles nas atividades fundamentais relacionadas com o ensino e a pesquisa, que, como mencionado anteriormente, estão ambas indissoluvelmente associadas, dado que poderíamos pensar o conhecimento como um processo contínuo.

Avaliar a pesquisa científica é uma tarefa complexa e cheia de subjetividades

Avaliar a pesquisa científica é uma tarefa complexa e cheia de subjetividades, mas existem hoje ferramentas de análise de domínio público que permitem uma boa aproximação para a avaliação quantitativa e qualitativa. O fato de muitos dos dados da produção científica serem públicos é um elemento fundamental para evitar possíveis defeitos nos mecanismos de avaliação, internos e externos, da própria Universidade. Usar esses dados pode ser muito útil para evitar a promoção de pesquisadores e grupos de pesquisa com uma produção científica baixa ou de pouca qualidade, assim como para a expansão e promoção dos grupos bons e de excelência. Divulgar a existência de algumas dessas informações públicas e uma breve análise crítica de como usá-las é o objetivo deste artigo.

Um passo importantíssimo foi dado pelo CNPq na década de 90, quando foi criado o sistema Lattes (honrando a Cesar Lattes, um dos mais reconhecidos cientistas brasileiros, falecido recentemente), no qual todo pesquisador de Universidade brasileira deve ter atualizado seu Curriculum Vitae (CV) num formato único. Acessar o CV Lattes de um pesquisador é simplíssimo, através do site http://buscatextual.cnpq.br/buscatextual/. Com o nome completo do pesquisador o sistema responde com:

• Nome do Pesquisador
  
• Currículo – Grupo de pesquisa – Fomento
  
• Bolsista produtividade *—
  
• Orientador de ...
  
• Maior nível de formação: ...
  
• Primeira área de atuação: ...
  
• Instituição: ...
  
• Email: ...
  
  

Clicando em Currículo, o sistema entra no CV Lattes do pesquisador; em Grupo de pesquisa aparece uma breve descrição do grupo ao qual pertence e suas linhas de pesquisa, Fomento indica (às vezes, pouco atualizado) os auxílios concedidos pelo CNPq ao pesquisador. Como analisar a informação do CV Lattes? O que é analisável a partir do que existe no domínio público? Está claro que a produção científica, para ter algum valor, deve ser escrita e publicada.

Nas Ciências Exatas e Naturais (incluídas engenharias e medicina), o método universalmente aceito, de divulgação para a avaliação, da produção científica é a publicação em revistas com um Corpo Editorial com especialistas reconhecidos nas diferentes subáreas da revista e com um sistema de revisores anônimos, desde um, passando por 2, 3 ou 4, e até 12 para algumas revistas muito exigentes. Existem também as revistas com anonimato por ambas partes (‘double blinded’ como o Journal of Computational and Graphical Statistics, por exemplo), tudo para garantir a crítica mais aberta e objetiva possível. A Capes mantém uma lista de revistas nacionais com alguns desses critérios, que pode ser consultada (http://www.scielo.br/).

Está claro que a produção científica, para ter algum
valor, deve ser escrita e publicada

Uma lista internacional de revistas com critérios rígidos de avaliação é a do ISI (Institute for Scientific Information). Publicação em revistas indexadas (pelo ISI) é um bom indicador de qualidade. O ISI fornece também, para cada artigo publicado, a quantidade de vezes que foi citado em artigos de revistas indexadas. Muitas citações, descontadas as próprias, podem indicar um artigo gerador de novas idéias, que resolve um problema importante, ou, também, um muito bom survey. Contar a quantidade de vezes que um pesquisador ou um dos seus artigos foi citado é uma tarefa simples já que o esforço comum da Capes e da Fapesp, dá acesso livre aos dados do ISI para todas as universidades públicas brasileiras; é só clicar em http://go5.isiknowledge.com/portal.cgi e depois em Science Citation Index Expanded, Cited Reference Search e o nome do pesquisador (evidentemente que nomes muito comuns requerem um esforço adicional de filtragem).

O número de citações deve ser tomado com cuidado porque é altamente dependente da área (600 citações em teoria de números indicam um cientista famoso; é só tentar Andrew Wiles, que conseguiu provar o teorema de Fermat; em algumas áreas da medicina ou da química esse número não é muito), mas não é tão difícil para alguém acostumado, ter uma idéia do número mínimo de citações que indicam um bom pesquisador na própria área e sempre é possível ter uma idéia para as áreas próximas. Para quem não está acostumado, ou está começando, talvez o método seja localizar alguém com algum reconhecimento internacional (membro de Conselho Editorial de uma revista indexada, talvez) e comparar. Para as áreas mais relacionadas com a produção de tecnologia, existe também o Derwent Innovation Index (no mesmo site do ISI) para verificar a existência de patentes internacionais. Na área específica da medicina é possível procurar no Med-Line (http://www.ncbi.nlm.nih.gov/entrez/).

O CNPq outorga bolsas de pesquisador, julgadas também por revisores anônimos e pelos comitês correspondentes de área, com níveis que vão desde 2 até 1A, B, C, D, sendo 1A o mais alto; um julgamento adicional, que permite uma melhor avaliação. Outros dados importantes, para caracterizar o nível, a consistência e a regularidade dos grupos de pesquisa e de seus membros é a participação dos pesquisadores em projetos de Pesquisa financiados pelas agências de fomento como a Fapesp (Projetos Temáticos) ou o CNPq (Pronex), todos julgados por revisores anônimos e pelos comitês correspondentes. Os projetos aprovados pela Fapesp, onde participa um dado pesquisador, podem ser facilmente encontrados escrevendo o nome do pesquisador na página principal da Fapesp (http://www.fapesp.br/index.php). A informação sobre os projetos e bolsas dos pesquisadores do CNPq pode ser também facilmente acessada na página http://www.cnpq.br/resultadosjulgamento/index.htm.

Outros projetos de pesquisa financiados por outras agências ou por empresas estatais e privadas podem ser encontrados em geral no CV Lattes. Evidentemente todos esses dados são dependentes do tempo. Pesquisadores iniciantes, com doutorados recentes, talvez não estejam incluídos nessas bases de dados (salvo o CV Lattes, é claro), mas, considerando a produção científica de um pesquisador a partir, digamos, de uns cinco anos após o doutoramento, é perfeitamente possível, com a informação pública mencionada, ter uma idéia aproximada sobre a consistência, a regularidade e a qualidade dessa produção. Essas ferramentas podem ser extremamente úteis para candidatos a alunos de IC e Pós-Graduação fazerem escolhas de orientadores, grupos e programas razoáveis, para serem utilizadas na formação de bancas qualificadas de concurso, de promoções, e em geral de todos os processos de avaliação dentro da Universidade.

É muito simples detectar grupos e pessoas com produção pouco consistente

Com este tipo de informação disponível, talvez não seja simples em alguns casos comparar níveis de produção científica, mas sim é muito simples detectar grupos e pessoas com produção pouco consistente, irregular ou de pouca qualidade. O caminho da produção científica não é fácil. Requer atualização constante no tema, pensar, escrever, sustentar brigas e discussões às vezes cansativas com revisores anônimos, escrever relatórios intermináveis, etc. Uma Universidade que queira atingir e/ou sustentar altos níveis de excelência deve distinguir claramente entre os que participam ativamente dessa produção do conhecimento, e em qual nível, e os que simplesmente não participam.

Uma medida para facilitar a apreciação pública da atividade de pesquisa seria que todos os professores da PG tivessem uma página própria na Internet com links para o CV Lattes e para o Citation Index (com o nome apropriado de busca), assim como a descrição dos projetos de pesquisa nos quais participam e o seu financiamento. Um passo importante nessa direção foi dado pela comunicação do Diretor de Avaliação da Capes, de 10-09-2004, recomendando uma elaboração detalhada das páginas da Internet dos cursos de PG, com links para as páginas dos docentes de modo que, entre outras vantagens mencionadas: “Os candidatos à pós-graduação possam escolher com mais critério o programa de seu interesse” e “A comunidade científica possa conferir a qualidade da avaliação”.