Estude fácil! Tem muito documento disponível na Docsity
Ganhe pontos ajudando outros esrudantes ou compre um plano Premium
Prepare-se para as provas
Estude fácil! Tem muito documento disponível na Docsity
Prepare-se para as provas com trabalhos de outros alunos como você, aqui na Docsity
Os melhores documentos à venda: Trabalhos de alunos formados
Prepare-se com as videoaulas e exercícios resolvidos criados a partir da grade da sua Universidade
Responda perguntas de provas passadas e avalie sua preparação.
Ganhe pontos para baixar
Ganhe pontos ajudando outros esrudantes ou compre um plano Premium
Comunidade
Peça ajuda à comunidade e tire suas dúvidas relacionadas ao estudo
Descubra as melhores universidades em seu país de acordo com os usuários da Docsity
Guias grátis
Baixe gratuitamente nossos guias de estudo, métodos para diminuir a ansiedade, dicas de TCC preparadas pelos professores da Docsity
da primeira bolsa FAPESP - Iniciação Científica . ... Figura 63 - Exemplo de grafos de colaboração criados a partir da deteção de 3 artigos.
Tipologia: Esquemas
Oferta por tempo limitado
Compartilhado em 07/11/2022
4.4
(226)224 documentos
1 / 399
Esta página não é visível na pré-visualização
Não perca as partes importantes!
Em oferta
Relatório Científico Final
Sergio Luiz Monteiro Salles-Filho Coordenador
Processo n.: 2008/58628-
Campinas Julho de 2012
Relatório Científico Final
Título do Projeto: Avaliação de programas da FAPESP: Desenvolvimento e Aplicação de Métodos para Avaliar Impactos e para Criar Avaliação Continuada
Pesquisador Responsável: Sergio Luiz Monteiro Salles-Filho
Instituição Sede do Projeto: Departamento de Política Científica e Tecnológica/Instituto de Geociências/Universidade Estadual de Campinas (DPCT/IG/UNICAMP)
Processo: 2008/58628-
Vigência do Projeto: 01/11/2009 a 30/06/
Período coberto pelo Relatório Científico em questão: 01/04/2012 a 30/06/
Campinas Junho de 2012
Bolsistas de Treinamento Técnico Associados
Camila Zeitoum – Doutoranda em Política Científica e Tecnológica, Pesquisadora associada GEOPI/DPCT Fernando Pellegrini – Graduando em Gestão de Empresas/FCA/UNICAMP Fabio Perin de Sá – Mestrando em Ciências Biológicas/IB/UNESP Jhonatan Alves – Graduando em Gestão de Políticas Públicas/FCA/UNICAMP Krissya Leite Tigani – Graduanda em Gestão de Empresas/FCA/Unicamp Tais S. Herig – Graduanda em Biologia/IB/Unicamp e Arquitetura/FEC/Unicamp Taís Ivo – Graduanda em Gestão de Políticas Públicas/FCA/UNICAMP Tuíro de Moraes – Graduando em Gestão de Empresas/FCA/Unicamp
Consultores
Ana Maria Carneiro – Coordenadora do GEOPI/DPCT e Pesquisadora do Núcleo de Estudos de Políticas Públicas/Unicamp Fernando A. B. Colugnati – GEOPI/ DPCT Roberto Marcondes - Professor do Instituto de Matemática e Estatística (IME/USP), membro da Coordenação de Área de Computação da FAPESP e do Comitê de Avaliação Trienal da Capes (Computação) e Diretor do Núcleo de Pesquisa em Bioinformática da USP. Sérgio Pinheiro Firpo – Professor da Escola de Economia de São Paulo (EESP/FGV) Geraldo Di Giovanni – Professor do Instituto de Economia (IE/ Unicamp) e Chefe de Gabinete da Secretaria Estadual de Ensino Superior
Parceiros
Elabora Consultoria IN3 Software
Apoio Fapesp
Alexandra Ozorio de Almeida Carlos Alfredo Joly Carlos Henrique Brito Cruz Carlos Pian Carlos Eduardo Negrão Célio Haddad Cylon Eudóxio Tricot Gonçalves da Silva Francisco Antonio Bezerra Coutinho João Eduardo de Morais Pinto Furtado José Roberto Postali Parra Luciano M. Verdade Luis Augusto Barbosa Cortez Luiz Henrique Lopes dos Santos Marcelo Meletti Mariana Cabral de Oliveira
Marie Anne Van Sluys Marilda Solon Teixeira Bottesi Marina Madeira Mario José Abdalla Saad Paula Monteiro Roberto Gomes de Souza Berlinck Sérgio Robles Reis de Queiroz Tiago Egger M. Duque Estrada Vanderlan da Silva Balzani Wagner Caradori do Amaral Walter Colli Wilson Suzigan
Anexo 1 – Aspectos Metodológicos .................................................................... 222 1.1. Quasi-experimentos e causalidade ..................................................................... 222 1.2 – Um Sistema Computacional para a Classificação Automática de Produção Científica ................................................................................................................................ 229 1.3 – Ferramentas para sumarização de dados acadêmicos e caracterização de redes de coautoria ................................................................................................................. 233
Anexo 2 – Versões Finais dos Questionários de Avaliação ................................. 242 2.1. Questionário de avaliação do Programa Biota .................................................... 242 2.2. Questionário de avaliação do Programa Equipamento Multiusuário (EMU) ......... 262 2.3. Questionário de avaliação do Programa Bolsas .................................................. 291
Anexo 3 – Guia Metodológico para Avaliação Continuada dos Programas PITE, PIPE, Jovem Pesquisador e Políticas Públicas .............................................................. 328
Figura 1 - Fluxograma da tramitação das propostas e projetos do Programa Biota ... 23 Figura 2 - Aspecto geral do questionário web , respondido pelos participantes da avaliação. ..................................................................................................................... 34 Figura 3 - Redes de colaboração entre pesquisadores do universo da pesquisa. Em a) Nós vermelhos representam coordenadores do Grupo Controle, Azuis do Biota e Verdes coordenadores com projetos em ambos grupo. Em b), apenas coordenadores do Biota. ....................................................................................................................... 45 Figura 4 - Quantidade de visitas únicas ao questionário online por dia, no período de 14/02 a 29/03/2012, de um total de 18651. Dados extraídos do Google Analytics para o referente período ............................................................................................. 85 Figura 5 - Quantidade de visitas à página inicial do questionário online agrupadas por países, no período de 14/02 a 29/03/2012, de um total de 25013. Dados extraídos do Google Analytics para o referente período ............................................................ 86 Figura 6 - Navegadores utilizados para acessar o questionário online, para as visitas no período de 14/02 a 29/03/2012. Dados extraídos do Google Analytics para o referente período ........................................................................................................ 86 Figura 7 - Distribuição das bolsas, por programa ........................................................ 91 Figura 8 - Resultados dos escores de propensão para QE de Iniciação Científica. a) Diagnóstico de convergência, b) Distribuição dos escores (1=FAPESP, 2=Controle), c) p-valores dos testes de homogeneidade antes e depois da ponderação, d) Tamanhos dos efeitos das diferenças entre os grupos, pré e pós ponderação ............................ 94 Figura 9 - Resultados dos escores de propensão para QE Mestrado. a) Diagnóstico de convergência, b) Distribuição dos escores (1=FAPESP, 2=Controle), c) p-valores dos testes de homogeneidade antes e depois da ponderação, d) Tamanhos dos efeitos das diferenças entre os grupos, pré e pós ponderação .............................................. 95 Figura 10 - Resultados dos escores de propensão para QE de Doutorado. a) Diagnóstico de convergência, b) Distribuição dos escores (1=Controle, 2=FAPESP), c) p-valores dos testes de homogeneidade antes e depois da ponderação, d) Tamanhos dos efeitos das diferenças entre os grupos, pré e pós ponderação ............................ 96 Figura 11 - Distribuição das categorias de primeira bolsa FAPESP nas Classes Sociais (segundo IBGE) ............................................................................................................. 97 Figura 12 - Dendograma dos agrupamentos de Perfil Socioeconômico ................... 102 Figura 13 - Distribuição dos Grupos segundo bolsas FAPESP em algum período ..... 106 Figura 14 - Distribuição dos Grupos segundo primeira bolsa da FAPESP .................. 106 Figura 15 - Percentual das origens dos bolsistas FAPESP por período segundo etapa da primeira bolsa FAPESP - Iniciação Científica ......................................................... 107 Figura 16 - Percentual das origens dos bolsistas FAPESP por período segundo etapa da primeira bolsa FAPESP - Mestrado ....................................................................... 108 Figura 17 - Percentual das origens dos bolsistas FAPESP por período segundo etapa da primeira bolsa FAPESP – Doutorado ..................................................................... 108 Figura 18 - Tendências quanto ao tipo de ocupação de ex-bolsistas FAPESP segundo maior grau de titulação - Iniciação Científica ............................................................ 112 Figura 19 - Tendências quanto ao tipo de ocupação de ex-bolsistas FAPESP segundo maior grau de titulação - Mestrado ........................................................................... 112 Figura 20 - Tendências quanto ao tipo de ocupação de ex-bolsistas FAPESP segundo maior grau de titulação - Doutorado ......................................................................... 113
Figura 46 - Histogramas do tempo até obtenção do primeiro vínculo, desde a conclusão da bolsa – Doutorado ............................................................................... 144 Figura 47 - Efeitos no Tempo até o Primeiro Vínculo, por Grande Área - Mestrado 145 Figura 48 - Efeitos no Tempo até o Primeiro Vínculo, por Grande Área - Doutorado .................................................................................................................................... 145 Figura 49 – Evolução de salário e renda - mestrado.................................................. 147 Figura 50 – Evolução de salário e renda - doutorado ................................................ 147 Figura 51 - Efeito FAPESP no número de SM no trabalho atual - Mestrado ............. 148 Figura 52 - Efeito FAPESP no número de SM no trabalho atual - Doutorado ........... 148 Figura 53 - Porcentual de ex-bolsistas com cargos diretivos, segundo tipo de bolsa .................................................................................................................................... 149 Figura 54 - Histograma do número de cargos diretivos, segundo tipo de bolsa ....... 149 Figura 55 - Graus de Influência da Bolsa na obtenção do cargo diretivo .................. 150 Figura 56 - Porcentual de ex-bolsistas que se tornaram Empresários ou Autônomos, por tipo de Bolsa em cada etapa de formação .......................................................... 151 Figura 57 - Influências das bolsas para a criação de empresas ................................. 151 Figura 58 - Linha do tempo do Programa EMU ......................................................... 154 Figura 59 - Dendograma da análise de agrupamentos de perfil dos participantes do Programa EMU ........................................................................................................... 202 Figura 60 – Fluxo de coleta de informações para avaliação continuada................... 210 Figura 61 - Fluxograma da FAGE. ............................................................................... 231 Figura 62 - Diagrama de fluxo de informações considerado no scriptLattes ............ 235 Figura 63 - Exemplo de grafos de colaboração criados a partir da deteção de 3 artigos .................................................................................................................................... 240
Gráfico 1 - Total de Desembolso da Fapesp no Programa Biota e porcentual em relação ao Desembolso total da Fapesp por ano (2001 a 2008). ................................ 27 Gráfico 2 - Situação do total de solicitações enquadradas no Programa Biota e encaminhadas até 2009 por ano (referente a Projetos Temáticos, Auxílio Pesquisa Regular e Jovem Pesquisador). .................................................................................... 28 Gráfico 3 - Total de recursos correntes destinados a Projetos Temáticos, Auxílio Pesquisa Regular e Jovem Pesquisador finalizados até 2009 por instituições no âmbito do Programa Biota. .......................................................................................... 29 Gráfico 4 - Perfis do Universo e da Amostra quanto a modalidades de auxílio e grupos de estudo da avaliação do Programa Biota ..................................................... 36 Gráfico 5 - Análise crítica das respostas ao longo do questionário de avaliação do Programa Biota ............................................................................................................ 37 Gráfico 6 - Resultados dos escores de propensão para QE de Iniciação Científica. a) Diagnóstico de convergência, b) Distribuição dos escores (2=Biota, 1=Controle), c) p- valores dos testes de homogeneidade antes e depois da ponderação, d) Tamanhos dos efeitos das diferenças entre os grupos, pré e pós ponderação ............................ 40 Gráfico 7 - Boxplot da influência atribuída na produção de tess e dissertações para o Programa Biota e Grupo Controle ............................................................................... 41 Gráfico 8 - Boxplot da influência atribuída ao projeto na produção de artigos científicos para o Programa Biota e Grupo Controle ................................................... 42 Gráfico 9 - Média dos totais de artigos e coautores dos coordenadores de projetos do grupo Biota e Controle. a) Média de artigos anual, b) Média de coautores anual,
c) Média de artigos anual, com anos centrados no ano de início do projeto, d) Média de coautores anual, com anos centrados no ano de início do projeto ....................... 44 Gráfico 10 - Métricas de redes de colaboração entre os grupos de estudo. a) Grau, b) Intermediação (betweenness), c) Transitividade (Cluster Coefficient), d) Grau de Colaboração (Author Rank) .......................................................................................... 45 Gráfico 11 - Evolução das médias geométricas dos Fatores de Impacto das publicações. a) Anual, b) Tempo centrado no início do projeto ................................. 46 Gráfico 12 - Taxa média de identificação de novos táxons para o Programa Biota e Grupo Controle ............................................................................................................ 48 Gráfico 13 - Número de substâncias por etapa de desenvolvimento até a comercialização no Programa Biota e Grupo Controle. .............................................. 49 Gráfico 14 - Número de pessoas fixadas e o respectivo impacto médio para o Grupo Controle e Programa Biota .......................................................................................... 50 Gráfico 15 - Temas dos cursos oferecidos pelos projetos para o Grupo Controle e Programa Biota ............................................................................................................ 52 Gráfico 16 - Número de notícias divulgada segundo o tipo de mídia para o Grupo Controle e Programa Biota .......................................................................................... 54 Gráfico 17 - Categoria dos resultados gerados pelos projetos do Programa Biota e Grupo Controle ............................................................................................................ 55 Gráfico 18 - Impacto dos projetos nos resultados para o Grupo Controle e Programa Biota ............................................................................................................................. 56 Gráfico 19 - Resultados que se tornaram inovação no Programa Biota e Grupo Controle ....................................................................................................................... 56 Gráfico 20 - Classificação das entidades que adotaram os resultados no Grupo Controle e Programa Biota .......................................................................................... 57 Gráfico 21 - Finalidade de uso dos resultados de acordo com entidade adotante por grupo de análise para o Grupo Controle e Programa Biota ........................................ 58 Gráfico 22 - Razões para participar do Programa Biota .............................................. 59 Gráfico 23 - Distribuição da declaração sobre o motivo de não participação no Programa Biota ............................................................................................................ 60 Gráfico 24 - Qualidade dos procedimentos da FAPESP para a concessão do projeto no Programa Biota ....................................................................................................... 61 Gráfico 25 - Participações em produtos coletivos do Programa Biota ....................... 61 Gráfico 26 - Número de bolsas solicitadas e contratadas, 1995 - 2009 ...................... 69 Gráfico 27 - Número de bolsas solicitadas e contratadas, Iniciação Científica, 1995 - 2009 ............................................................................................................................. 69 Gráfico 28 - Número de bolsas solicitadas e contratadas, Mestrado, 1995 – 2009.... 70 Gráfico 29 - Número de bolsas solicitadas e contratadas, Doutorado, 1995 – 2009 .. 70 Gráfico 30 - Número de bolsas solicitadas e contratadas, Doutorado Direto, 1995 – 2009 ............................................................................................................................. 71 Gráfico 31 - Evolução de bolsas concedidas por área do conhecimento, 1995 – 2009 ...................................................................................................................................... 72 Gráfico 32 - Evolução de bolsas concedidas por área do conhecimento, Iniciação Científica, 1995 - 2009 ................................................................................................. 73 Gráfico 33 - Evolução de bolsas concedidas por área do conhecimento, Metrado, 1995 - 2009 .................................................................................................................. 74
valores dos testes de homogeneidade antes e depois da ponderação, d) Tamanhos dos efeitos das diferenças entre os grupos, pré e pós ponderação .......................... 172 Gráfico 58 - Total anual de teses e dissertações relacionadas ao uso de equipamento. RC= Pesquisador Responsável Concedido e RD= Pesquisador Responsável Denegado .................................................................................................................................... 173 Gráfico 59 - Média anual de teses e dissertações desde o início do uso do equipamento (Ano=0). RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ........................... 173 Gráfico 60 – Variação de competências decorrentes do projeto EMU para responsáveis e associados concedidos. ..................................................................... 176 Gráfico 61 - Ano de instalação dos EMU solicitados e aprovados............................. 177 Gráfico 62 - Tempo para instalação dos EMU solicitados e aprovados .................... 178 Gráfico 63 - Tempo de vida do EMU estimado pelos responsáveis para o equipamento.............................................................................................................. 178 Gráfico 64 - Status atual de utilização do EMU ......................................................... 179 Gráfico 65 - Principais pontos críticos para a instalação do EMU ............................. 179 Gráfico 66 - Porcentagem do tempo de utilização por diferentes tipos de usuários do EMU ao longo de 5 anos. ........................................................................................... 180 Gráfico 67 - Produção anual total de artigos dos respondentes da avaliação do EMU no período de 1998-2010 (inclui denegados que tiveram acesso aos equipamentos). RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ..................................................................... 181 Gráfico 68 - Produção média de artigos (inclui decorrentes e não decorrentes do equipemento) a partir do início projeto, sendo 0 (zero) o ano de instalação do equipamento (inclui denegados que tiveram acesso aos equipamentos). RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ............................................................................ 182 Gráfico 69 – índice de dependência dos artigos publicados em relação ao uso do equipamento adquirido (inclui denegados que tiveram acesso aos equipamentos). RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ..................................................................... 182 Gráfico 70 - Influência do uso do equipamento na geração do artigo (inclui denegados que tiveram acesso aos equipamentos). RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido .................................................................................................................. 183 Gráfico 71 - Distribuições anuais dos Fatores de Impacto (JCR) das revistas dos artigos nos quais os respondentes da avaliação do EMU publicam (Ano=0: instalação do Equipamento). RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ........................... 184 Gráfico 72 - Distribuições anuais dos Fatores de Impacto (JCR), das revistas dos artigos nos quais os respondentes da avaliação do EMU publicam sem os outliers (Ano=0: instalação do Equipamento). RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ....... 185 Gráfico 73 - Diversidade das Parcerias decorrentes da instalação do equipamento. RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ..................................................................... 186
Gráfico 74 - Grau de influência na formação de Grupos de pesquisa no Programa EMU............................................................................................................................ 186 Gráfico 75 - Percentual de dedicação do EMU para diferentes atividades, para o conjunto dos respondentes ....................................................................................... 187 Gráfico 76 - Variação de pontos percentuais da dedicação do EMU para diferentes atividades ................................................................................................................... 188 Gráfico 77 - Resultados decorrentes do uso do equipamento (exceto publicações científicas, dissertações e teses). RC= Pesquisador Responsável Concedido e RD= Pesquisador Responsável Denegado. ........................................................................ 189 Gráfico 78 – Total de resultados decorrentes do equipamento que se tornaram inovações. RC= Pesquisador Responsável Concedido e RD= Pesquisador Responsável Denegado. .................................................................................................................. 189 Gráfico 79 - Direitos de propriedade intelectual decorrentes da proteção de resultados do equipamento. por RC= Pesquisador Responsável Concedido e RD= Pesquisador Responsável Denegado ......................................................................... 190 Gráfico 80 - Total de projetos alavancados decorrentes do EMU ............................. 190 Gráfico 81 - Grau de influência do EMU para alavancar novos projetos. ................. 191 Gráfico 82 - Exigência de contrapartida para uso do EMU por categoria de usuários .................................................................................................................................... 192 Gráfico 83 - Atividade de rotina do equipamento custeada por meio de solicitação de recursos externos adicionais...................................................................................... 193 Gráfico 84 - Critérios para a candidatura ao programa EMU. RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ................................................................................................. 194 Gráfico 85 - Itens Financiáveis pelo Programa EMU. RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido .................................................................................................................. 194 Gráfico 86 - Critérios de avaliação da proposta para o Programa EMU. RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ............................................................................ 195 Gráfico 87 - Tempo de resposta da análise da proposta para o Programa EMU. RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ............................................................................ 195 Gráfico 88 - Valores concedidos pela Fapesp no âmbito do Programa EMU. RC= Pesquisador Responsável Concedido, RD= Pesquisador Responsável Denegado e AC= Pesquisador Associado Concedido ............................................................................ 196 Gráfico 89 - Valores adicionais concedidos para o Programa EMU. RC= Pesquisador Responsável Concedido e AC= Pesquisador Associado Concedido ........................... 196 Gráfico 90 - Acompanhamento e avaliação do EMU por parte da Fapesp. RC= Pesquisador Responsável Concedido e AC= Pesquisador Associado Concedido ...... 197 Gráfico 91 - Itens dos relatórios científicos do Programa EMU ................................ 197 Gráfico 92 - Periodicidade dos relatórios científicos do Programa EMU. RC= Pesquisador Responsável Concedido e AC= Pesquisador Associado Concedido ...... 197 Gráfico 93 - Tempo de vigência da concessão do EMU. RC= Pesquisador Responsável Concedido e AC= Pesquisador Associado Concedido ................................................ 198
Tabela 25 - Distribuição dos respondentes quanto à trajetória de formação acadêmica .................................................................................................................... 91 Tabela 26 - Variáveis utilizadas para estimação dos Escores de Propensão ............... 93 Tabela 27 - Descrição dos quase-experimentos para os programas de bolsas ........... 93 Tabela 28 - Perfil Sócio-econômico segundo categoria de Primeira Bolsa da FAPESP 98 Tabela 29 - Descrição dos Perfis Médios dos Grupos Evidenciados na Análise de Agrupamento ............................................................................................................. 103 Tabela 30 - Distribuição da origem dos bolsistas FAPESP segundo etapa da Primeira Bolsa da FAPESP ......................................................................................................... 107 Tabela 31 - Região do país do primeiro vínculo de trabalho após a graduação dos ex- bolsistas FAPESP, segundo grau de Titulação ............................................................ 108 Tabela 32 - Região do país do vínculo de trabalho atual dos ex-bolsistas FAPESP, segundo grau de Titulação ......................................................................................... 109 Tabela 33 - Distribuição da natureza jurídica da ocupação/vínculo de trabalho atual dos ex-bolsistas FAPESP segundo maior grau de titulação ....................................... 113 Tabela 34 - Efeitos da Bolsa FAPESP no tempo de duração até obtenção do título de mestre ........................................................................................................................ 115 Tabela 35 - Efeitos da Bolsa FAPESP no tempo de duração até obtenção do título de doutor ........................................................................................................................ 116 Tabela 36 - Estágios e colaborações no exterior para ex-bolsistas FAPESP e aqueles que tiveram outras bolsas ......................................................................................... 119 Tabela 37 - Efeito da Bolsa FAPESP nas colaborações internacionais ....................... 121 Tabela 38 - Número de artigos por etapa acadêmica e quartis das influências declaradas de cada etapa no desenvolvimento do artigo (bolsas FAPESP e não FAPESP) ...................................................................................................................... 122 Tabela 39 - Efeito da Bolsa FAPESP de Iniciação Científica para Número Total de Artigos relativos à IC e Número de Artigos Qualis A1 relativos à IC ........................ 122 Tabela 40 - Efeito da Bolsa FAPESP após o encerramento do Doutorado no Número médio de publicações totais e no Número médio de Artigos Qualis A1 ................... 125 Tabela 41 - Totais de artigos utilizados na modelagem ............................................ 126 Tabela 42 - Estatísticas descritivas das métricas de Rede de Coautoria ................... 129 Tabela 43 - Efeitos entre FAPESP e outros Bolsistas nas métricas de rede (coautores no gráfico a seguir) .................................................................................................... 130 Tabela 44 – Geração de tecnologias, inovações e propriedade intelectual .............. 131 Tabela 45 – Influências dos projetos de pesquisa para geração de tecnologias, inovação e propriedade intelectual ........................................................................... 133 Tabela 46 - Número médio de projetos por pesquisador e média dos valores totais (soma dos projetos) por pesquisador, segundo tipo de bolsa, por Grande Áreas .... 136 Tabela 47 - Distribuição das categorias de trabalho atual, segundo Bolsa FAPESP em cada etapa de formação ............................................................................................ 140 Tabela 48 - Tempos médios e respectivos desvios padrão, do tempo de conclusão da etapa até o primeiro vínculo ...................................................................................... 145 Tabela 49 - Efeitos para Cargo Diretivo (Sim ou Não) e Quantidade de Cargos Diretivo .................................................................................................................................... 149 Tabela 50 - Efeito da Bolsa FAPESP para ser “Empresário/ Autônomo”, segundo etapa da formação ..................................................................................................... 151
Tabela 51 - Distribuição dos respondentes quanto à trajetória de formação acadêmica .................................................................................................................. 152 Tabela 52 - Distribuição dos respondentes quanto à trajetória de formação acadêmica (FAPESP e não FAPESP) ............................................................................ 152 Tabela 53 - Desembolso anual do EMU, em valores constantes de 2009, no período 1997 a 2007................................................................................................................ 156 Tabela 54 - Número de propostas aprovadas, segundo a área do conhecimento do Programa EMU ........................................................................................................... 159 Tabela 55 - Projetos solicitados para participar do Programa EMU e taxa de aprovação segundo institutos de pesquisa ............................................................... 160 Tabela 56 - Universo de respondentes do Programa EMU por categoria ................. 163 Tabela 57 - Fonte de Financiamento que possibilitou a compra do equipamento equivalente requerido no programa EMU................................................................. 169 Tabela 58 - Tipo de disciplina, frequência, total de projetos e média de disciplina por projetos para criar novas competências científicas no âmbito do Programa EMU .. 172 Tabela 59 - Tipo de curso, frequência, total de projetos e média de cursos por projetos para público externo ao EMU...................................................................... 174 Tabela 60 - Porcentagem, média, desvio padrão e mediana das variações de competência técnica decorrentes do uso do EMU para Pesquisadores Responsáveis. .................................................................................................................................... 174 Tabela 61 - Porcentagem, média, desvio padrão e mediana das variações de competência técnica decorrentes do uso do EMU para Pesquisadores Associados 175 Tabela 62 – Efeito quase-experimento da produção acadêmica entre responsáveis, associados e denegados............................................................................................. 183 Tabela 63 – Pontos Positivos do Programa EMU ....................................................... 198 Tabela 64 – Pontos Negativos do Programa EMU ..................................................... 199 Tabela 65 - Descrição das variáveis por perfil Programa EMU ................................. 200
Quadro 1 - Descrição das modalidades de auxílio avaliadas no Programa Biota ........ 24 Quadro 2 - Temas de avaliação.................................................................................... 81 Quadro 3 - Número médio de projetos FAPESP por pesquisador e média dos valores totais (soma dos projetos) por pesquisador, segundo tipo de bolsa, por Grande Áreas .................................................................................................................................... 138 Quadro 4 - Dados gerais do Programa EMU .............................................................. 156 Quadro 5 - Síntese do perfil dos equipamentos e usuários do Programa EMU ....... 203 Quadro 6 – Participantes das reuniões para revisão dos guias metodológicos de avaliação continuada ................................................................................................. 211 Quadro 6 – Quadro Resumo dos temas e indicadores da Avaliação Continuada do PIPE segundo periodicidade de coleta...................................................................... Quadro 7 – Quadro Resumo dos temas e indicadores da Avaliação Continuada do PITE segundo periodicidade de coleta...................................................................... Quadro 8 – Quadro Resumo dos temas e indicadores da Avaliação Continuada do JP segundo periodicidade de coleta e respondente..................................................... Quadro 9 – Quadro Resumo dos temas e indicadores da Avaliação Continuada do PPP segundo periodicidade de coleta e respondente..............................................
2.1.1. Retrospectiva das Principais Etapas Metodológicas
A Avaliação dos Programas de Bolsas, Biota e Equipamentos Multiusuários teve os seguintes objetivos específicos:
Produzir uma caracterização de conteúdo analítico sobre cada programa escolhido para avaliação, com identificação dos propósitos, meios utilizados, e categorias de impactos esperados; Identificar as dimensões de avaliação que devem ser consideradas para avaliar impacto em cada programa escolhido; Produzir indicadores pertinentes às dimensões de avaliação, específicos para os tipos de programas escolhidos; Testar a viabilidade de aplicação de métodos quasi-expermimentais desenvolverem elementos confirmadores de causalidade dos resultados e impactos medidos; Estruturar banco de dados que permita a avaliação dos indicadores medidos; Realizar análises estatísticas uni e multivariadas, testar métodos de correspondência e buscar grupamentos com cruzamento dos indicadores e temas de avaliação; Identificar resultados e impactos por tema e por programa
Conforme dito nos relatórios anteriores, a metodologia de estruturação da avaliação apoiou-se na identificação de temas de avaliação e construção de indicadores e métricas específicos aos referidos temas. Tal procedimento baseou-se essencialmente na revisão da literatura de avaliação de impactos de programas de pesquisa e fomento, levantamento de dados e informações sobre os Programas a serem avaliados, na decomposição dos objetivos formais de cada Programa e no diálogo com os diferentes atores envolvidos por meio de Painéis Estruturados com especialistas.^1
O segundo passo metodológico foi a decomposição dos objetivos de cada Programa, que implicou na extração de termos dos objetivos (Método de Decomposição^2 ). Os termos são as ideias principais que derivam dos objetivos caracterizados e que são
(^1) Paineis Estruturados são uma metodologia de validação das hipóteses, indicadores e métricas que serao utilizadas na avaliação. Consiste de um dia de trabalho no qual convidados envolvidos no tema de avaliação e nos próprios programas a avaliar são reunidos em torno de uma agenda estruturada com base em uma proposta de hipóteses, indicadores e métricas que é deatida, alterada, ajustada e ao final validada. (^2) O método de decomposição foi desenvolvido pelo GEOPI em outras avaliações de programas de CTI e consiste, muito resumidamente, em retirar palavras e termos críticos dos objetivos dos programas e de seus documentos principais e destes decompor indicadores e métricas necessárias a medi-los. Para detalhes, ver: SALLES-FILHO, S. ; AVILA, F. D. ; SEPULVEDA, J. ; COLUGNATI, F. A. B.. Multidimensional assessment of technology and innovation programs: the impact evaluation of INCAGRO-Peru. Research Evaluation (Print), v. 19, p. 1, 2010.
capazes de revelar a extensão dos resultados e impactos deles esperados. Uma vez identificados os termos, procedeu-se a um rearranjo dos mesmos em temas que os traduzissem de forma mais concisa e consistente o que dos termos se pode deduzir. A finalidade última da identificação dos temas foi organizar o enfoque que se pretendia com a avaliação.
Posteriormente, buscou-se traduzir os termos em elementos mensuráveis, ou seja, em indicadores, que foram chamados nesta etapa de pró-indicadores, pois ainda estavam em uma etapa preliminar de identificação. Foram definidos indicadores quantitativos, qualitativos ou compostos, no intuito de captar um conjunto extenso de transformações derivadas das atividades de pesquisa de forma mais sistêmica do que o modelo linear de inovação considera.
Mais duas condições foram consideradas na definição dos indicadores nesta proposta metodológica: (a) pertinência, isto é, o indicador deveria se relacionar com o tema no qual estava inserido; (b) causalidade, indicadores deveriam expressar condição de causalidade clara entre inputs e outputs. A definição de indicadores não deveria perder de vista os objetivos do programa, tão pouco da avaliação.
Paralelamente à decomposição, foram definidas as hipóteses norteadoras da avaliação de cada um dos três Programas da Fapesp. As hipóteses foram de fundamental importância para orientar os pesquisadores no sentido de contemplar, através dos indicadores, todas as dimensões de análise envolvidas na avaliação dos Programas.
Uma vez identificados, hipóteses, temas e pró-indicadores foram submetidos a especialistas durante a realização do I Painel Estruturado para discussão e validação.
Também de forma paralela à definição das hipóteses, temas e indicadores, a equipe dedicou-se à definição do desenho amostral para a avaliação de cada um dos Programas, cujas definições foram apresentadas no primeiro relatório parcial de atividades. Vale dizer que se optou, no âmbito do projeto, pelo emprego de quase- experimento, além da utilização de um “fator verificador de atribuição de causalidade” dos resultados e impactos medidos (que mensura a relação entre os resultados e impactos alcançados e os elementos de execução dos Programas – bolsas ou projetos). 3
Os indicadores propostos pela equipe e validados por especialistas no Painel Metodológico permitiram a construção dos Questionários de Avaliação, principal instrumento para levantamento de informações dos beneficiários e parceiros dos Programas em avaliação. Por meio deles foi captada a maior parte das informações necessárias. Outra parte foi levantada junto ao Banco de Dados da Fapesp e, ainda, do Currículo Lattes dos pesquisadores convidados a responder aos Questionários.
(^3) Este fator verificador de causalidade foi desenvolvido pelo GEOPI no início dos anos 2000 em projeto financiado pela Fapesp. Denominado fator Alpha, este fator tenta refinar as medidas de impacto obtidas em campo. Aplica- se o Alpha, numa escala de zero a 1, à medida obtida para um dado indicador de forma a checar quanto efetivamente da medida se deveu ao programa em avaliação. Com isto, tem-se um ajuste conservador sobre a medida, quase sempre reduzindo a causalidade. Para detalhes do métodos, ver: Salles-Filho, Sergio ; Bonacelli, Maria Beatriz ; Carneiro, Ana Maria ; De Castro, Paula F Drummond ; Santos, Fernando Oliveira. Evaluation of ST&I programs: a methodological approach to the Brazilian Small Business Program and some comparisons with the SBIR program. Research Evaluation (Print), v. 20, p. 157-169, 2011.
