Todo governo diz que seus programas funcionam, e toda oposição diz que não. A pergunta “funcionou?” tem resposta empírica, mas ela exige mais do que comparar o antes e o depois. A avaliação de impacto aplica à política pública o mesmo raciocínio dos ensaios clínicos.
Uma analogia
Avaliar um programa só pelo antes e depois é como dizer que um remédio curou o resfriado porque a pessoa melhorou em uma semana. Resfriados passam sozinhos; cidades também mudam sozinhas. Só a comparação mostra o que o programa fez.
Explicando para uma criança
Quando a prefeitura faz um programa novo e as coisas melhoram, será que foi por causa dele? Para saber, os cientistas comparam com lugares parecidos onde o programa não chegou ainda.
Ao fim desta lição, você vai conseguir
- Explicar o problema do contrafactual e a necessidade de um grupo de comparação.
- Ordenar os desenhos de avaliação pela força da evidência.
- Conhecer casos brasileiros e os limites de “o que funciona”.
Ajuda ter lido: Prática Baseada em Evidências (PBE), Experimentos naturais e causalidade sem laboratório.
Antes de ler: o que você pensa?
Um governo quer lançar um programa de renda para jovens em todo o país de uma vez.
Como ele poderia aprender se o programa funciona?
Ver o que a lição responde
Expandindo em fases, com sorteio de quem entra primeiro, ou aproveitando a expansão gradual como experimento natural. Lançar tudo ao mesmo tempo torna a avaliação muito mais difícil.
O problema central: o contrafactual
Para saber o efeito de um programa, seria preciso saber o que teria acontecido sem ele, nas mesmas pessoas, no mesmo período. Como isso não é observável, procura-se um grupo de comparação o mais parecido possível. “A criminalidade caiu depois do programa” não basta: ela pode ter caído por outras razões, ou já estar caindo antes.
Os desenhos, do mais ao menos forte
- Sorteio (ensaio randomizado): quando um programa não pode atender a todos de uma vez, sortear quem entra primeiro cria um grupo de comparação justo e permite medir o efeito. Foi o método que rendeu o Nobel de Economia de 2019 a Banerjee, Duflo e Kremer.
- Experimentos naturais: expansão gradual por municípios, regras com ponto de corte, loterias já existentes (veja a lição sobre experimentos naturais).
- Comparação com grupos pareados: escolher não participantes parecidos nas características observadas; sujeito a diferenças não observadas.
- Antes e depois sem comparação: o mais fraco, e o mais usado na propaganda.
Casos brasileiros
- Bolsa Família: estudos que aproveitaram a expansão desigual entre municípios associaram o programa a reduções da mortalidade infantil e de internações por desnutrição, e a aumento da frequência escolar.
- Estratégia Saúde da Família: a expansão gradual permitiu estimar quedas na mortalidade infantil e em internações evitáveis.
- Lei Seca (2008): comparações entre estados e ao longo do tempo indicaram redução de mortes no trânsito, com efeito variável conforme a fiscalização.
- Redução da maioridade penal, toque de recolher, câmeras corporais: áreas em que a evidência é mista ou local, e em que avaliações rigorosas no Brasil ainda são poucas.
Os limites de “o que funciona”
- Validade externa: o que funcionou numa cidade pode não funcionar em outra; contexto e implementação importam (a crítica de Nancy Cartwright).
- Efeitos de longo prazo e efeitos colaterais raramente são medidos.
- O que se mede vira meta: escolas podem “melhorar” notas treinando para a prova (lei de Goodhart).
- Valores: a evidência diz o que um programa produz; se vale a pena, a que custo e para quem, é decisão política. Um programa pode reduzir crimes e violar direitos.
Para guardar
- Sem contrafactual, “funcionou” é propaganda.
- Sorteio e experimentos naturais são os desenhos mais fortes; antes e depois, o mais fraco.
- Evidência informa; valores e contexto decidem.
Para pensar
Que política da sua cidade é defendida só com “antes e depois”?
Teste rápido · 1 de 3
Aplique · 2 de 3
Confira · 3 de 3