Efemérides e vésperas são os momentos propícios para reavaliações e planejamentos. A efeméride é o cinqüentenário da conquista da Copa de 1958. A véspera se refere à avaliação institucional, prevista para o ano que vem, segundo o planejamento estratégico da Unicamp. Em um sistema complexo como a sociedade humana, conexões aparentemente as mais distantes podem ser muito próximas, mudando um pouco o ponto de vista. Primeiro a Copa de 1958. O Brasil vinha de um desastre, 1950, seguido por um fiasco, 1954. Um planejamento cuidadoso, coordenado por Paulo Machado de Carvalho, foi o ponto de partida para finalmente levantarmos o caneco em 1958. Pela primeira vez contou-se com uma equipe multidisciplinar, que além do técnico e do médico, tinha também um preparador físico, um psicólogo e um dentista. Hoje parece óbvia essa abordagem multidisciplinar, mas na época essas “invencionices” foram duramente contestadas por muitos.

Por volta dessa mesma época, começaram a surgir indicadores de jogo¹, hoje incessantemente presentes nas transmissões pela televisão. Para o telespectador talvez só interesse o indicador de número de gols, mas para a comissão técnica as estatísticas de jogo e seus indicadores são hoje imprescindíveis no planejamento do esquema tático. Os indicadores científicos, outro produto dos anos 50, limitavam-se inicialmente aos investimentos dos diferentes países em ciência, baseados na percepção de que desenvolvimento científico e tecnológico está correlacionado com desenvolvimento econômico. Logo verificou-se que os indicadores de resultado também eram necessários e, a partir dos anos 70, esforços científicos de análise desses indicadores começaram a delinear uma disciplina hoje madura, a cienciometria. Esse foi em parte o tema do recente Fórum Permanente realizado em 8 de maio: “Pesquisa Interdisciplinar e Avaliação: tendências no debate contemporâneo”, organizado pela Cocen, Coordenadoria dos Centros e Núcleos Interdisciplinares de Pesquisa da Unicamp. São 23 Centros e Núcleos, abrangendo todas as grandes áreas do conhecimento, que estão sendo avaliados pela 5ª vez em um processo contínuo de aprimoramento institucional. A Cocen completa 15 anos, também uma efeméride às vésperas da avaliação institucional no âmbito de toda a Universidade. E o cenário é de que um dos indicadores mais utilizados é o número de artigos publicados em revistas especializadas, arbitradas e indexadas em uma base de dados. Essa indexação constitui, por um lado, uma validação da revista e, por outro lado, a possibilidade de tornar o resultado científico já público acessível bibliograficamente de maneira mais ampla.

A questão que se coloca numa véspera de avaliação institucional é se olhar somente para os artigos científicos e para uma única base de dados é suficiente. Nesse Fórum apareceram fortes indícios de um consenso em torno do não, principalmente se a interdisciplinaridade for levada em conta.

Em uma nova analogia desportiva, esses indicadores de avaliação devem ser tomados como subsídios para um esquema tático, uma política científica no nosso contexto. Por outro lado, o uso desses indicadores no corte de jogadores de uma seleção é um assunto pouco estudado, mas o conjunto de fundamentos de jogo considerado é amplo. Nenhum jogador é cortado se apresenta apenas um baixo rendimento em finalizações de cabeça, por exemplo. No entanto, não devemos esquecer de que na cabeça de um jogador convocado para a seleção as preleções táticas são importantes, mas a preocupação principal é se ele será escalado ou não.

Do ponto de vista acadêmico, o pontapé inicial deve ser uma análise macroscópica da atividade científica de um sistema como um todo e, para isso, alguns autores sugerem um índice de atividade: em vez de olhar para o número absoluto de publicações ou citações, toma-se toda a produção e dividi-se pelas áreas do conhecimento. Assim temos um panorama de como a atividade científica se distribui em um dado país. Isso, obviamente, depende da base de dados escolhida. Voltando à analogia, se o auxiliar técnico não anota as estatísticas de desarmes feitos pelo lateral esquerdo, o técnico não saberá o quanto ele poderá ajudar a defesa durante o jogo. A base nesse contexto é o ISI Web of Science, portal que também publica análises a partir de seus dados. Para dar uma olhada basta acessar o Science Watch, que é de acesso livre, na seção de arquivos, em especial o in-cites.com ( http://www.sciencewatch.com/ ). A discussão no Fórum foi justamente iniciada com uma meta análise desses levantamentos publicados. O Top 20 countries in all fields de 2007 apresenta o Brasil em 17º lugar, com 137.159 artigos publicados entre janeiro de 1997 e agosto de 2007. O Brasil está, portanto, convocado para a seleção mundial, embora ainda como jogador reserva. No ranking por número de citações o Brasil seria cortado, mas o número absoluto de citações, 720.131, dá uma razão de 5.25 citações por artigo, que é melhor que a Índia, Rússia e China e comparável à Coréia do Sul e Taiwan².

Uma vez convocados seria interessante saber em que posição jogamos melhor e para comparar tomamos a produção científica indexada dos EUA, país com a maior produção científica no mundo em todas as áreas do conhecimento consideradas, um total de cerca de 2.800.000 artigos entre janeiro de 1996 a agosto de 2006. O índice de atividade mostra o seguinte perfil: um claro domínio da área de clínica médica (cerca de 25% do total de artigos), seguida de outras cinco áreas com uma participação entre 6% e 8% : química (7,7%), física (7,3%), biologia & bioquímica (7,3%), engenharias (6,8%) e ciências humanas (6,5%).

No caso do Brasil, o perfil científico é totalmente diferente, pois a pesquisa em clínica médica não constitui a área preponderante, embora seja bastante relevante (cerca de 15% do total). A física corresponde a mais de 16% do total, o que significa que sua importância no cenário acadêmico brasileiro é muito maior do que no dos EUA (7,3%). No Brasil destacam-se claramente as áreas de zoologia & botânica, bem como de ciências agrícolas. Em ambos os casos a importância relativa no cenário brasileiro é cerca de duas vezes maior que no cenário norte americano. Outra constatação é a produção relativa muito baixa no Brasil nas áreas de ciências humanas, assunto que é um ponto-chave e ao qual voltaremos abaixo.

Uma discussão desse índice de atividade pode ser apreciada no trabalho recente de Glaenzel e colaboradores³, que reconhecem 4 perfis gerais: (i) o “modelo ocidental” com medicina clínica e pesquisa biomédica como áreas dominantes; (ii) o padrão característico de antigos países socialistas com atividade excessiva em química e física; (iii); o “modelo bio-ambiental”, tendo biologia e ciências da Terra e espaciais no foco central; e (iv), o “modelo japonês” no qual predominam as áreas de engenharias e química.

O perfil brasileiro seguiria aproximadamente o “modelo bio-ambiental”, mas para nossa avaliação essa padronização ainda é muito grosseira, não leva a nossa discussão nem às quartas-de-final da diversidade de atuações. Mencionamos alguns dados interessantes: o perfil dos EUA é praticamente idêntico ao inglês, mas a Europa continental apresenta diferenças importantes. Assim como nós temos uma atividade relativa destacada em ciências agrícolas, a África do Sul a tem em geociências e Hong Kong em economia & negócios. Voltando às ciências humanas, uma coisa em comum a todos os países não anglófonos: baixo índice de atividade. Problema dos jogadores ou da planilha usada pelo auxiliar técnico? O Web of Science indexa bem alguns tipos de jogadas, mas não outros. Se o técnico quiser um panorama melhor do time precisará de outras fontes. Vamos olhar para a Austrália, que no “Top 20” de 2007 aparece no time titular, além de ser obviamente anglófona. Um mapeamento da produção daquele país, por áreas do conhecimento e por tipo de produção (artigos em revistas especializadas, anais de congressos, capítulos de livros e livros)4, mostra o quanto os horizontes de avaliação precisam ser ampliados. Se em um extremo, no caso a Química, 96% da produção é no formato de artigos e o Web of Science cobre 85% de toda produção, artigos em revistas correspondem a somente 35% da produção em arquitetura, sendo que a cobertura na mesma base de dados da produção total nessa área é inferior a 7% (é sete mesmo, não 70).

No Fórum sobre avaliação e interdisciplinaridade, a discussão continuou por vários caminhos, que aparecem nas entrelinhas acima e a analogia com o futebol termina por aqui. Diferentemente desse esporte, não temos tantas restrições (por que não usar as mãos?), não temos necessidade de cortar jogadores pré-convocados. Precisamos apenas considerar um repertório maior de jogadas e posicionar os jogadores em campo.

¹ A primeira análise de indicadores de jogo aplicado ao futebol parece ser um estudo de M. J. Moroney de 1956, segundo o trabalho Revisiting Statistical Applications in Soccer de Benoit Emonet: statwww.epfl.ch/projects/emonet/main.ps.gz

² Para países desenvolvidos essa razão oscila em torno de 10, ou seja, teriam, vistos assim, o dobro do impacto.

³ W. Glaenzel, K. Debackere e M. Meyer, Scientometrics vol. 74, p. 71 (2008).

4 L. Butler, Scientometrics, vol. 74 p. 39 (2008).