JU – Quais têm sido as principais métricas e indicadores utilizados? Que características determinam a aplicação de uma metodologia ou outra? O envolvimento do setor privado no programa, a exemplo do que ocorre com o programa Pite/Fapesp (Programa de Inovação Tecnológica na Empresa), o SBIR (Small Business Innovation Research), do governo americano, ou os Fundos Setoriais, do MCT, representa um diferencial para a definição da metodologia a ser utilizada?

Fernanda De Negri – De modo geral, quanto mais individualizados os indicadores de resultado, mais fácil para o avaliador chegar a uma conclusão precisa sobre o resultado da política. Dizer se a política teve impactos nos investimentos em P&D de uma empresa que foi apoiada é muito mais fácil do que dizer se a política teve impactos na ampliação dos investimentos em P&D da economia.

Em termos de avaliação quantitativa de impactos nos indivíduos, as metodologias utilizadas são muito similares. Todas elas procuram isolar o efeito da política de outros fatores que podem afetar o resultado dos indivíduos apoiados. Da mesma forma, todos procuram, de alguma maneira, comparar um grupo de tratamento com um grupo de controle adequado.

O fato de o programa ou política ser voltado ou permitir a participação de empresas – como no caso dos Fundos Setoriais – altera de forma mais significativa os indicadores utilizados para mensurar o resultado das políticas, do que a metodologia utilizada. No caso de programas voltados para ampliar a produção científica dos pesquisadores, caso de uma parcela dos recursos dos Fundos Setoriais, o melhor indicador pode ser o volume de publicações dos pesquisadores apoiados. Qual indicador será utilizado depende da pergunta que está sendo feita pelo avaliador, que pode estar preocupado em responder diversas questões, todas no âmbito da avaliação do programa, tais como se o programa teve impactos na produção científica dos pesquisadores apoiados, se gerou externalidades para outros indivíduos, que não os apoiados, se o fato de um pesquisador ter recebido suporte do programa contribuiu para que ele realizasse outros tipos de pesquisa ou pesquisa em parceria com empresas etc.

Laurent Bach – Na minha área, políticas e programas de CT&I, o campo das métricas é amplamente dominado pelos indicadores clássicos de CT&I –bibliometria e estatísticas de patentes –, incluindo aquelas na fronteira com o mundo econômico e empresarial, tais como licenciamento de tecnologias e empresas spin-off criadas, e pela análise de custo/benefício relacionada aos indicadores – cota de mercado, vendas, rentabilidade, independentemente dos indicadores acumulados e , mais raramente, benefícios aos consumidores. No entanto, há uma ênfase crescente sobre os indicadores de redes sociais, refletindo o papel central de alguns atores no cenário da CT&I ou a evolução do perfil das redes.

Penso que há uma combinação de fatores que determinam as escolhas metodológicas: os recursos à disposição dos avaliadores – incluindo a disponibilidade de dados, o tempo e, claro, os financiamentos; e se a avaliação será de curto ou longo prazo. Também é um fator importante o nível de conhecimento das partes – pessoas, a agência etc– que ordenaram o estudo de avaliação, o que vai determinar como seus resultados serão empregados para tomada de decisão.

Mas, obviamente, o primeiro parâmetro de qualquer trabalho de avaliação científica deveria ser as características dos programas ou políticas a serem avaliadas! A influência do setor privado não está clara para mim, depende de onde o setor privado está “localizado”. Se as atividades do setor privado são avaliadas, do ponto de vista público, como beneficiário do apoio da opinião pública através de programas e políticas, não têm nenhuma influência sobre a escolha metodológica. 

Se o setor privado está executando a sua própria avaliação do benefício que tira da sua participação em programas públicos, a situação é naturalmente diferente. A metodologia e as métricas terão que ser capazes de refletir, sobretudo, a perspectiva do setor privado, com os correspondentes indicadores, em termos de rentabilidade e assim por diante.  Agora, se do setor privado está envolvido como a avaliação das partes – por meio de consultoria ou empresas de serviços –, é muito provável que a metodologia terá de ser compatível com as limitações financeiras e as exigências deste organismo privado. Isso pode significar, no pior caso, de trabalho menos experimental, a reutilização de dados não adequados, mas já existentes etc

Sergio Salles-Filho - Não há uma régua, nem deveria haver um manual, exceto um de boas práticas de avaliação. Cada caso precisa de tratamento especial, um olhar do que deve ser avaliado, antes de mais nada. Às vezes, uma medida de benefício/custo simplesmente não deve ser aplicada em um programa, porque é descabida. Às vezes, indicadores subjetivos bem-elaborados são mais precisos que qualquer contabilidade dita objetiva. A experiência ajuda muito a definir o que e como avaliar.

O pioneirismo do Geopi

Os impactos de programas e políticas públicas têm sido alvos dos estudos do Geopi desde a sua constituição, há quinze anos, pela iniciativa dos professores Sergio Salles-Filho e Rui Albuquerque, ambos docentes do Departamento de Política Científica e Tecnológica do Instituto de Geociências. Um dos primeiros trabalhos realizados pelo grupo foi a reorganização institucional do Instituto Agronômico de Campinas (IAC), quando iniciaram o desenvolvimento de metodologias tanto para avaliação quanto para reorganização institucional.

O Geopi possui uma sólida atuação em atividades de planejamento e avaliação em CTI,  já tendo realizado mais de 40 projetos de pesquisa e consultorias em torno das suas seis áreas: planejamento e gestão de CT&I; prospecção em CT&I; avaliação em CT&I; gestão da propriedade intelectual; financiamento para CT&I; e dinâmica setorial da inovação. Destaca-se, no período recente, o apoio à Fapesp para desenvolvimento de metodologias de avaliação para seus programas.

A partir de uma demanda apresentada pela Diretoria Científica da Fapesp, o Geopi apresentou uma proposta de avaliação de resultados e impactos de programas desta Fundação, que foi submetida a pareceristas ad hoc. Num primeiro momento foram avaliados os programas Pipe, Pite, PPP (Pesquisa em Políticas Públicas) e JP (Apoio ao Jovem Pesquisador). No momento, a avaliação está sendo estendida aos programas de bolsas, Equipamentos Multiusuários e o Biota.

A experiência nessas áreas e na relação com empresas e instituições de pesquisa externas, levou o Geopi a apoiar a criação da Agência de Inovação da Unicamp, a Inova, bem como a política de propriedade intelectual da Universidade. Externamente, o grupo já atuou no apoio e planejamento de atividades para organizações públicas e privadas, tais como Embrapa, Sucen, CPFL, Finep, Inpe, CTA, Apta, IAC, CPqD, CGEE e algumas internacionais, tais como a Fundación para la Promoción de la Innovación Agrícola (FIA), do Chile; a Incagro, do Peru; o IICA (Instituto Interamericano de Cooperação para a Agricultura), da Organização dos Estados Americanos; a Organização Mundial de Propriedade Intelectual (Ompi); Usaid; e WWF.

Com uma equipe bastante atuante, o GEOPI se destaca pelo número de pesquisadores – hoje são 30 pesquisadores associados e colaboradores –, muitos deles inseridos em outras instituições além da Unicamp, como Inpi, LNLS, USP, UFABC, CTI, IEA entre outras; além do envolvimento de alunos em nível de graduação e pós-graduação, muitos dos quais mantêm o vínculo mesmo depois de deixarem a Universidade. Ao todo, em 15 anos, os professores que lideram o Geopi formaram 17 doutores e 20 mestres.

Entre suas publicações, foi lançado em 2000 o livro Ciência, Tecnologia e Inovação: a reorganização da pesquisa pública no Brasil (Editora Komedi), com autores do próprio grupo e convidados. Recentemente foram publicados três artigos sobre avaliação de C,T&I na revista Research Evaluation, além de um capítulo para o livro de indicadores de CT&I da Fapesp, com dados sobre a área agrícola, em fase de finalização.

Em 2005, o professor Sergio Salles-Filho recebeu a Medalha “Mérito Santos-Dumont” pelo trabalho realizado para a criação do Plano Diretor de Gestão do CTA. O docente foi também, por três vezes, agraciado com o Prêmio Zeferino Vaz da Unicamp.

Confira a programação do simpósio em:www.ige.unicamp.br/fronteiras