Métodos experimentais para avaliar programas de crédito: desafios e abordagens, Exercícios de Desenho

Baixe Métodos experimentais para avaliar programas de crédito: desafios e abordagens e outras Exercícios em PDF para Desenho, somente na Docsity!

Caio Piza – DIME/Banco Mundial São Paulo, 25-27 de Março de 2013

Métodos

Experimentais

Objetivo

• Identificar o Verdadeiro Efeito de um Programa
  • Separar o impacto do programa de outros fatores

  Qual o efeito causal de um programa?

• Necessidade de descobrir o que teria ocorrido

sem programa

• Não se pode observar a mesma pessoa com e sem o programa

Conta com análise contrafactual (grupo de controle) 2

0

2

4

6

8

10

12

14

2007 2009

Grupo de Tratamento Treatment Group

4

(+6) aumento nos lucros

Ilustração: Programa de Crédito (1)

2007 2009

Um programa de crédito foi oferecido em

Por que o aumento da margem?

Grupo de tratamento

0

2

4

6

8

10

12

14

Before After

Control Group Treatment Group

5

(+) Impacto do programa (+) Impacto de outros fatores (externos)

Antes Depois

Grupo de controle Grupo de tratamento

Ilustração: Programa de Crédito (2)

Motivação

• Difícil distinguir a causalidade da correlação na análise estatística dos dados existentes - Independente da complexidade da estatística, só mostra que X ( programa de credito ) vai com Y ( margem ) - Difícil corrigir características não observadas, como motivação / habilidade - Motivação / habilidade podem ser os principais fatores a serem corrigidos
• Viés de seleção: um grande problema para a avaliação do impacto
  • Os projetos tiveram início em determinado tempo e local por motivos particulares  Os participantes podem ser seleccionados ou podem-se auto-selecionar para participar num programa ( critérios de elegibilidade )  As pessoas que têm acesso a crédito serão provavelmente muito diferentes do empresário médio; analisar os lucros dessas pessoas poderá dar uma impressão errada dos benefícios do financiamento (^7)

Motivação

• Avaliação retrospectiva de impacto:
  • Ao coletar os dados depois do evento, você não sabe como os participantes e não participantes podiam ser comparados antes do início do programa
  • É necessário tentar entender porquê o projeto foi implementado naquele local e naquele período, após o evento.
• A avaliação prospectiva permite elaborar a avaliação para que responda à pergunta que você precisa responder
• Permite a coleta dos dados necessários 8

Opções de Randomização

• Sorteio
  • (apenas alguns entram no programa)
• Entrada gradual
  • (todos entram eventualmente)
• Variação no tratamento
  • (cobertura integral, diferentes opções)
• Desenho de incentivo (no caso de adesão parcial)
  • Todos podem entrar, alguns são encorajados a fazê-lo

10

Sorteio (apenas alguns entram no programa) Sorteio para ter acesso a novos empréstimos

Entrada gradual (entrada em momentos diferentes – phase in ) Alguns grupos ou pessoas recebem crédito cada ano ou a cada semestre

Variação no tratamento Alguns recebem um matching grant , outros crédito, outros serviços de apoio ao desenvolvimento do negócio

Incentivo Um balcão bancário por distrito Alguns empresarios recebem visita ao domicílio para explicar o (^1111)

Exemplo no desenvolvimento do setor privado

Oportunidades para a aleatorização (1)

• As limitações orçamentárias impedem a cobertura integral
• A distribuição aleatória (sorteio) é justa e transparente
• Capacidade limitada de implementação
  • A introdução gradual oferece a todos a mesma chance de serem os primeiros
• Inexistência de evidências sobre qual a melhor alternativa
  • Distribuição aleatória para alternativas com a mesma chance ex ante de sucesso

13

Oportunidades para a aleatorização (2)

• Adesão ao programa existente não é completa
  • Fornecer informações ou incentivos para a adesão de alguns
• Um novo programa piloto
  • Boa oportunidade de testar o desenho antes de expandi-lo
• Mudanças operacionais em programas em

andamento

• Boa oportunidade de testar as mudanças antes de expandi-las
• Introduzir innovaçoes de manera aleatoria

14

Aleatorização individual ou em grupo?

• A aleatorização è feita o mesmo nivel que o nivel de intervenção
• Mais fácil obter amostras grandes o bastante se os indivíduos forem aleatorizados

Aleaorização individual Aleaorização de grupos

Unidade de Aleatorização

• A aleatorização em nível mais alto às vezes é necessária: - Limitações políticas a tratamentos diferenciados na comunidade - Limitações práticas – confusão para implementar diferentes versões - Os efeitos sobre unidades vizinhas podem demandar uma aleatorização em nível mais alto
• Aleatorizar ao nível de grupo requer muitos grupos por causa da correlação dentro da comunidade

17

Validade Externa e Interna (1)

• Validade externa
  • A amostra é representativa da população total
  • Os resultados na amostra representam os resultados na população
  • Podemos aplicar as lições a toda a população
• Validade interna
  • O efeito estimado da intervenção ou do programa sobre a população avaliada reflete o impacto real naquela população
  • Ou seja, os grupos de intervenção e de controle são comparáveis

19

Validade Externa e Interna(2)

• Uma avaliação pode ter validade interna sem validade externa - Exemplo: extrapolar os resultados de uma avaliação randomizada de um incentivo às empresas informais na área urbana para se registarem para um programa semelhante nas áreas rurais
• Uma avaliação sem validade interna não pode ter validade externa - Se você desconhece se um programa funciona em um local, então você não sabe nada sobre se ele funciona em qualquer outro lugar.

20