18 fev Políticas Públicas Baseadas em Evidências
O que é?
Como saber qual política pública implementar em um determinado contexto? Será que estamos desperdiçando recursos públicos implementando políticas que não estão obtendo o efeito desejado? Essas são perguntas que permeiam o que hoje é conhecido como política pública (PP) baseada em evidência.
A cultura de avaliação de PP ainda não é predominante no Brasil. Um dos desafios é fazer bons diagnósticos para identificar os problemas e oportunidades de aprimorar a focalização de políticas. Dois objetivos são centrais aqui: (1) usar o que já sabemos que funciona de outras avaliações para definir políticas chave e (2) aumentar o conheci-mento sobre as políticas para informar outras decisões políticas. Essa abordagem se aplica a diversas áreas como saúde, educação, e proteção social. Por exemplo, na área de segurança, o Instituto Igarapé contabilizou 280 iniciativas de prevenção de violência contra a mulher em curso no país. No entanto, cerca de 99% delas não apresentaram relatório de avaliação. Como saber quais políticas estão realmente tendo o efeito esperado e que o dinheiro público alocado está sendo bem gasto?Além da dificuldade de realizar diagnósticos precisos, gestores públicos frequentemente enfrentam desafios para fazer parcerias com instituições privadas e/ou pesquisadores, uma vez que pode haver um descompasso entre o tempo necessário para fazer uma avaliação de impacto rigorosa e o “tempo político”. Apesar das dificuldades, implementar uma cultura de PP baseada em evidência é possível e essa série de resumos de política pública serve para nortear as prefeitas e vereadoras eleitas em direção a uma gestão pública mais eficaz.
Porque é necessária?
É natural pensar que todo problema social tem diversas causas e, portanto, várias intervenções podem ser feitas para combater cada problema de maneira eficaz. Se queremos aumentar a participação feminina no mercado de trabalho, por exemplo, podemos expandir creches ou fazer programas de qualificação e microcrédito específicos para mulheres. Dado que os recursos financeiros e humanos da prefeitura são limitados, temos que ter meios de definir quais políticas devemos implementar. O mesmo raciocínio vale para políticas educacionais, de saúde, de segurança, etc. É aí que en-tram as evidências científicas, que nos ajudam a direcionar esforços na direção da política que tem mais chance de surtir o efeito desejado.
Porém, saber quais políticas tiveram efeito positivo não é suficiente. Suponha que tenhamos 10 políticas distintas que foram positivas. Como compará-las? Nesse caso, precisamos fazer uma análise de custo-benefício, ou custo-efetividade. O objetivo aqui é fazer uma conta do resultado obtido para cada real gasto com a política (exemplo: a redução de internações por doenças respiratórias devido a uma política de redução de poluição, ou a economia do sistema de saúde por conta da mesma política). Uma boa gestão pública deve buscar gastar os recursos que dispõe de forma eficaz (quando atinge o objetivo desejado) e eficiente (quando é eficaz ao menor custo).
Como fazer?
Construir uma boa PP é um processo complexo. Algumas ferramentas existem para facilitar esse processo. Apresentamos abaixo a abordagem conhecida como o Ciclo das Políticas Públicas, que pode ser dividido em 4 fases:
1. Diagnóstico
O passo inicial e crucial é delimitar qual problema queremos resolver. Depois, o próximo passo é determinar o público-alvo: quem são e quais suas características. Em seguida, precisamos avaliar os dados disponíveis sobre a população-alvo. Há diversas ferramentas de diagnóstico disponíveis, todas elas com um ponto em comum: transformar um problema complexo em um problema tratável e específico. A forma como o problema é definido determina o interesse de agentes e organizações em construir uma solução, de modo que esse passo é essencial para saber como focar os recursos financeiros e de pessoas.
2. Desenho
A partir da delimitação do problema, podemos mapear políticas anteriores que já atacaram esse mesmo problema, buscando evidências sobre os resultados dessas políticas. Durante essa etapa, é necessário ponderações em relação a qualidade da evidência e a semelhança entre o contexto no qual a política foi implementada e o contexto que você está analisando. Os problemas são iguais? A população-alvo e as condições locais são comparáveis? Quais premissas foram essenciais para que a política obtivesse o resultado observado? A partir daí, devemos construir uma cadeia lógica (também conhecida como Teoria da Mudança) que deixará explícito como a política desenhada incide sobre o problema proposto. Nessa cadeia também deverão conter quais serão os indicadores (métricas) utilizados para monitorar a implementação e qual será a estratégia econométrica de avaliação causal da PP.
TEORIA DA MUDANÇA é uma descrição e ilustração de como e por que se espera que uma mudança desejada aconteça em um determinado contexto. Ela mapeia o que foi feito no diagnóstico (o que está faltando para uma população específica) e como chegar no objetivo desejado (a entrega da política pública a população).
3. Implementação
A palavra de ordem aqui é PLANEJAMENTO. Alguns elementos são fundamentais para o sucesso de uma PP:
a. Mapa de atores:
O primeiro passo é identificar os atores envolvidos (gestores públicos, financiadores, pesquisadores, etc) e o nível de interação entre cada um deles. É fundamental que haja uma comunicação constante entre os atores en-volvidos de forma a garantir alinhamento dos objetivos e entrega dos produtos no prazo estipulado.
b. Estrutura clara de trabalho:
Para a equipe que irá coordenar a implementação, é essencial que haja etapas bem definidas em que são atribuídas responsabilidades específicas e estipulados prazos, já levando em consideração aspectos desafiadores de logística.
c. Cronograma de atividades:
O cronograma é uma das ferramentas mais úteis para trans-formar metas abstratas em atividades concretas que nos levarão aonde queremos chegar. Ele nos permite delimitar os recursos humanos e insumos necessários em cada fase da implementação.
c. Orçamento:
os custos diretos e indiretos devem ter sido mapeados anteriormente para garantir que a PP é financeiramente viável. Deve-se entender a fundo o processo de desembolso dos fundos, de modo a alinhar esse processo com o cronograma de atividades.
O guia de Harvard sobre a metodologia PDIA é um boa referência para te ajudar nessa etapa. Tal metodologia consiste em encontrar um problema concreto a ser tratado, definir um plano de atuação, se assegurar de ter os recursos financeiros e logísticos necessários, e reavaliar constantemente a efetividade do projeto para adaptar as políticas de acordo com os resultados observados.
4. Avaliação
O monitoramento permite o acompanhamento do sucesso da implementação, ao passo que a avaliação de impacto (ou avaliação causal) nos permite saber se o programa atendeu seus objetivos estabelecidos. O impacto de uma política pode ser medido ao com-parar o resultado alcançado pelos beneficiários após participa-rem do programa, frente ao resultado que esses mesmos beneficiários obteriam caso não tivessem participado do programa. Não vamos entrar em detalhes sobre os diversos métodos de avaliação causal. Todavia, vamos esclarecer o que NÃO É avaliação causal:
— Análises descritivas como coleta de dados (arrumou emprego ou não, melhorou as notas ou não, etc) sobre os beneficiários da PP após receberem o programa;
— Construir indicadores ou observar indicadores já existentes (como o Índice de Progresso Social no Rio de Janeiro) antes e depois da implementação da PP;
— Observar na prática que uma determinada PP não está funcionando não significa necessariamente que a política não tem efeito positivo. Podemos ter nesse caso um problema de implementação, erro de diagnóstico ou diversos fatores externos à política podem ter contribuído para o resultado observado.
Para saber mais detalhes sobre essa etapa, recomendamos dois guias:
(1) Avaliação de Impacto na Prática do Banco Mundial,
onde você vai aprender como se preparar para uma avaliação de impacto, quais são os métodos econométricos utilizados em avaliações, como implementar a política e como obter dados para fazer a avaliação;
(2) Avaliação Econômica de Projetos Sociais,
do Itaú Social, mais focado em métodos e análise de custo-benefício.
Como criar uma cultura de evidência na gestão municipal?
O maior desafio para construirmos políticas públicas orientadas por evidências consiste em superar os obstáculos técnicos, financeiros e institucionais que dificultam a criação de uma cultura de evidência na gestão municipal. O trabalho é longo, mas exis-tem ações que podem ser tomadas para diminuir essas barreiras operacionais. São elas:
— Delegar a tarefa de elaboração da Teoria da Mudança para um grupo de funcionários públicos. Para isso, é necessário fornecer treinamento técnico em como selecionar e comparar evidências e como utilizar os novos conhecimentos gerados no processo de tomada de decisão. A ENAP e a FGV-Clear são boas fontes de parceria para treinamentos dos servidores públicos.
— Criar espaços de convivência como laboratórios de inovação no setor público ou laboratórios por tipo de política (educacional, saúde, segurança etc). A Prefeitura de São Paulo já possui experiências do tipo, como o Lab011.
— Alocar recursos financeiros e humanos na coleta de dados administrativos de qualidade, caso seu município não possua fontes de dados confiáveis. É fundamental que as bases de dados da prefeitura estejam integradas e os processos e serviços públicos sejam automatizados, na medida do possível. Isso facilita não apenas a prestação de contas da prefeitura à população, como também possibilita a elaboração de diagnósticos precisos e implementação e avaliação de políticas públicas.
Já existem algumas boas experiências brasileiras de política pública baseadas em dados e evidências. Vale a pena dar uma olhada em experiências internacionais como o Observatory of Public Innovation (Opsi/Oecd), os Urban Labs da Prefeitura de Chicago/EUA e o NYC Opportunity da Prefeitura de Nova York/EUA. No caso brasileiro, recomendamos o Pacto pela paz de Pelotas, o Porto Digital/Porto Social de Recife e Lab 011 e MobiLab de São Paulo. O MobiLab, por exemplo, é o laboratório de inovação aberta da Prefeitura de São Paulo, que tem como objetivo criar soluções inovadoras para a cidade de São Paulo por meio do uso intensivo de dados e de parcerias com o setor privado. Engaje o setor privado e as organizações da sociedade civil em prol da geração de valor público. Pesquise sobre essas iniciativas e converse com os atores envolvidos.
Algumas dúvidas que podem surgir
a. Como eu faço um diagnóstico?
Dados, dados e mais dados! Para fazer um bom diagnóstico, é fundamental que sejam utilizados dados administrativos e/ou coletados em campo. Mas dados agregados não são suficientes. O ideal é que tenhamos dados territorializados (por bairro ou região do município) para conseguirmos identificar corretamente qual o motivo do problema em cada território. Por exemplo, podemos observar que o IDEB de um conjunto de escolas na zona sul do Rio de Janeiro (mais rica) é similar ao de um conjunto de escolas na zona oeste (menos rica). Porém, os fatores que levam cada conjunto de escolas a ter o mesmo IDEB podem ser (e provavelmente serão) muito diferentes. No primeiro caso, podemos ter que o principal motivo seja a infraestrutura precária, enquanto na zona oeste a falta de professores seja o problema predominante. Portanto, procure utilizar os dados mais desagregados disponíveis.
Após identificar e analisar os dados do seu município, é preciso fazer a revisão de literatura sobre as evidências nacionais e internacionais existentes e identificar qual política tem mais chances de ser bem sucedida dado o problema específico que se deseja atacar. Os nossos resumos de política pública temáticos são excelentes referências para quem está iniciando a pesquisa.
b. Como eu tiro a ideia do papel?
O risco faz parte da implementação, então já que podemos errar, vamos arriscar com pouco. Fazer um piloto é o primeiro passo para testar se a PP proposta é capaz de resolver o problema diagnosticado. É a oportunidade que temos de validar a Teoria da Mudança elaborada no passo 2 (o do “Desenho”) da PP. O piloto é necessário para:
— Estabelecer relações com os atores-chave previamente mapeados;
— Testar os instrumentos que compõem a política;
— Receber feedback dos beneficiários;
— Re-otimizar a estratégia de implementação;
— Obter informações sobre viabilidade operacional;
— Ganhar apoio da população.
Quando a PP é desenhada sem o diálogo com os gestores que irão ser responsáveis por implementá-la, em geral há um choque entre o que está no papel e o que é factível de acontecer na prática. O piloto serve também como uma oportunidade de alinhar e desenhar a estrutura de trabalho entre todos os envolvidos.
c. E se houver problemas na implementação do piloto?
Se a avaliação do piloto mostrar que o programa não foi eficaz, é preciso fazer uma avaliação de processos. Isto é, reavaliar cada etapa da cadeia lógica construída antes da implementação do piloto e verificar se o diagnóstico estava correto e se todos os elos da cadeia (insumos e atividades necessárias) foram cumpridos corretamente. O próximo passo é redesenhar, ajustar ou diminuir a escala do programa.
d. E se a política não obteve o efeito desejado? Como comunicar para a população?
O processo de política pública baseada em evidência é um processo de aprendizado e não de auditoria. É necessário entendermos que tão importante quanto saber o que funciona é saber o que não funciona. Portanto, levar em consideração as políticas que não tiveram efeito serve para não desperdiçarmos recursos financeiros e humanos futuramente. Mais do que isso, uma gestão pública eficaz deve poder testar diferentes pilotos para saber o que funciona melhor.
Onde buscar financiamento para implementação do piloto?
Frente Nacional de Prefeitos
Um dos projetos realizados é o “Ruas Completas”, em parceria com o World Resource Institute Brasil (WR), que consiste em espaços urbanos projetos para garantir segurança e conforto de todas as pessoas que nelas circulam, independentemente do meio de transporte utilizado. Dez cidades integram diretamente o projeto e mais seis fazem parte da Rede Nacional para a Mobilidade de Baixo Carbono.
Associação Brasileira de Municípios
O site está desatualizado sobre os projetos, mas a ABM já teve grupos de trabalho em áreas como Mobilidade Urbana, Política Cultural e Gestão de Fiscal.
Apoio do BNDES aos Municípios
Financia projetos nas áreas de Segurança e Iluminação Pública, Mobilidade, Saneamento, Gestão Pública, Educação, Saúde, Assistência Social, Patrimônio Cultural e Meio Ambiente.
Instituto Mobilidade e Desenvolvimento Social (IMDS)
Avalia políticas já existentes, produz dados, cria pilotos de PP e ajuda na elaboração de propostas legislativas ligadas a juventude e que promovem mobilidade social. Alguns exemplos de propostas de pilotos são: (i) suporte à realocação residencial de áreas com poucas oportunidades para áreas como maiores oportunidades, (ii) capacitação para o empreendedorismo e (iii) inserção no mercado de trabalho e redução da evasão escolar. No dia 19 de novembro, eles lançarão um Prêmio Evidência em parceria com a FGV e a ENAP, cujo edital pode ser acessado aqui.
BRAVA
Apoia e desenvolve projetos inovadores. Uma das iniciativas é o Meu Município, plataforma que compila dados financeiros de todos os municípios e os apresenta ao gestor municipal.
Instituto Ayrton Senna
Produz conhecimento e experiências educacionais inovadoras capazes de inspirar práticas eficientes, capacitar educadores e propor políticas públicas com foco na educação integral.
Onde buscar parcerias para avaliação do piloto?
1. Temas Gerais
a. Organizações Internacionais
Poverty Action Lab(J-PAL)
Implementou 13 pilotos de PP no Brasil. Um deles, ainda em andamento, é a avaliação do programa “Escola Segura, Família Forte”, na cidade de Campo Grande (MS). Tal programa consiste na implementação de patrulhamento policial e na comunicação direta entre polícia e gestores das escolas públicas com o objetivo de reduzir a violência escolar e melhorar o desempenho dos alunos.
Banco Mundial
Financiou 549 projetos no Brasil, como por exemplo o projeto BRT em São Paulo e o projeto de melhorar a eficiência na entrega de PP da Prefeitura de Salvador.
Banco Interamericano de Desenvolvimento (BID)
Financiou 81 projetos no Brasil. Alguns exemplos são o projeto de melhoria da gestão fiscal de Pernambuco eo programa de desenvolvimento urbano em Manaus.
Center for Public impact (CPI)
Implementou e avaliou políticas em temas como saúde, transporte, gestão fiscal, educação e etc. Realizou parceria com Campinas (SP) para implementar políticas de acesso universal à creche.
New Development Bank
Criado pelos países integrantes do BRICS, recentemente fez uma parceria com o município de Teresina para implementar um programa de infraestrutura educacional a fim de aumentar o número de matrículas em temp integral, aumentar e disponibilidade de vagas em creches e melhorar as condições de segurança nas escolas.
b. Organizações Nacionais
Fundação Instituto de Pesquisas Econômicas (FIPE)
Tem a finalidade de diagnosticas, quantificar e avaliar os impactos das políticas econômicas e sociais. Atua em diversos temas como agricultura, economia industrial, mercado de trabalho, finanças públicas, etc.
IDados
Fornece consultoria para empresas e setor público por meio de análise de dados, elaboração de pesquisas e avaliação de impacto. Possui uma subárea dedicada a prefeitos sobre como melhorar a educação municipal.
2. Temas Específicos
a. Meio Ambiente
Climate Policy Initiative (CPI), Instituto Escolhas, Amazonas Sustentável, Arapyau.
b. Segurança
Instituto Igarapé.
Educação
Itaú Social, Instituto Unibanco, Instituto Ayrton Senna, Fundação Maria Cecilia Souto Vidigal, FGV CEIPE, Fundação Lemann, Todos Pela Educação, Instituto Sonho Grande, Fundação Brava, instituto Reúna, Instituto Natura, IEDE (Inter disciplinaridade e Evidencias no Debate Educacional), Instituto Península.
Desigualdade
Meu Rio/Nossas.
Saúde
IFPS, Vital Strategies, ACT, Instituto Desiderata, ImpulsoGov.
Nudge (economia comportamental)
Movva.
Impacto Social
Grupo de Fundações, Institutos e Empresas (GIFE), Centre for Public Impact (CPI-BCG Foundation).
Uma outra opção é contar com apoio de pesquisadoras “solo”. A rede “A Ponte” mapeou diversas pesquisadoras de ponta nas mais diversas áreas e está interessada em apoiar nesse processo. Entre em contato com a gente caso queira um grupo de pesquisadoras para avaliar sua política!
Sorry, the comment form is closed at this time.