TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Teoría de Cambio, Indicadores y Medición del Impacto
Claudio FerrazPUC‐RioAbdul Latif Jameel Poverty Action Lab
povertyactionlab.org
1. Evaluaciones de impacto: ¿Qué son? ¿Por qué hacerlas? ¿Cuándo hacerlas?
2. Teoría de Cambio, indicadores y medición del impacto
3. ¿Por qué aleatorizar?4. ¿Cómo aleatorizar?5. El tamaño muestral 6. Implementar una evaluación7. Análisis e inferencia
Agenda del curso
1. Evaluaciones de impacto: ¿Qué son? ¿Porqué hacerlas? ¿Cuándo hacerlas?
2. Teoría de Cambio, indicadores y medicióndel impacto
3. ¿Por qué aleatorizar?4. ¿Cómo aleatorizar?5. El tamaño muestral6. Implementar una evaluación7. Análisis e inferencia
Agenda del curso
1. Evaluación de impacto requiere PROFUNDO conocimiento de funcionamiento y objetivos del programa
2. La TEORÍA DE CAMBIO facilita evaluación y medición de cómo funciona un programa y cual es su impacto
– Articula objetivos, insumos, productos, resultados e impactos
– Simplifica definición de hipótesis de investigación – Facilita construcción indicadores para distintas metas del
programa
Objetivos de aprendizaje
4
1. Teoría de Cambio
2. Resultados e indicadores
3. Nociones iniciales de medición de impacto
Resumen de la exposición
5
1. Teoría de Cambio– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Información sobre desempeño
municipal en México
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
Resumen de la exposición
6
1. Teoría de Cambio– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Información sobre desempeño
municipal en México
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
Resumen de la exposición
7
• Representa visualmente cadena CAUSAL entre:– Necesidades/Objetivos– Insumos– Productos– Resultados intermedios– Impactos (esperados y no deseados)
• Facilita definición de hipótesis a verificar
Teoría de Cambio
1. Teoría de Cambio– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Información sobre desempeño
municipal en México
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
Resumen de la exposición
9
Cadena de causalidad
Objetivos Insumos Productos Resultados Intermedios Impactos
Enriquecen comprensión del programaRefuerzan conclusionesFacilitan extracción de lecciones
Cadena de causalidad
OBJETIVOS1. Responden a una
necesidad2. Especifican población
objetivo3. Son medibles
Cadena de causalidad
PRODUCTOS1. Consecuencia directa de
mi acción/ intervención2. Son medibles3. Representan el primer
“resultado” observable de mi acción
Cadena de causalidad
RESULTADOS INTERMEDIOS1. Son los factores de
transición que conectanlos productos con los impactos
2. Son medibles
Cadena de causalidad
IMPACTOS1. Lo que quiero cambiar con
programa2. Directamente
relacionados con objetivos
3. Son medibles
1. Teoría de Cambio– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Información y elecciones locales en
México
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
Resumen de la exposición
17
• ¿Cuáles son los objetivos principales de la Auditoría Superior de la Federación (ASF)?
• ¿Cuáles son las principales características de la campaña de Volantes destinados a público local?
El entorno: Información antes de elecciones locales
19
• ¿Por qué se considerara deseable diseminar información proporcionada por la ASF antes de las elecciones municipales?
• Si la información es importante ¿Por qué la mayoría de las personas no usan la información gratuita entregada por la ASF para tomar sus decisiones de voto?
El uso de la Información
20
• ¿Cuáles son posibles cadenas de causalidad en el caso de los volantes de Información?
• ¿Cuáles son etapas necesarias para obtener impactos finales?
• ¿Cuáles son posibles impactos finales?
Teoría de Cambio de los volantes de información
21
Necesidades Insumo Producto Resultado Intermedio
Impacto Objetivo a largo plazo
? ? ? ? ? ?
22
Teoría de Cambio de los volantes de información
Necesidades Insumo Producto Resultado Intermedio
Impacto Objetivo a largo plazo
Información pública relevante para los votantes no es utilizada. Los gobiernos
locales tienden a malgastar fondos sin represalias
?Mejor uso de los
recursos públicos a nivel local y mejora de la entrega de servicios
Lo que hago para lograr mi objetivo
23
Teoría de Cambio de los volantes de información
Necesidades Insumo Producto Resultado Intermedio
Impacto Objetivo a largo plazo
Información pública relevante para los votantes no es utilizada. Los gobiernos
locales tienden a malgastar fondos sin represalias
Volantes: Campaña de información previo a elecciones municipales enfocadas en quiénes
son responsables de proveer
ciertos servicios públicos
?
? 28
Teoría de Cambio de los volantes de información
Consecuencia directa de mi acción
Necesidades Insumo Producto Resultado Intermedio
Impacto Objetivo a largo plazo
Información pública relevante para los votantes no es utilizada. Los gobiernos
locales tienden a malgastar fondos sin represalias
Volantes: Campaña de información previo a elecciones municipales enfocadas en quiénes
son responsables de proveer
ciertos servicios públicos
Votantes se hacen más conscientes sobre el
desempeño de sus
representantes municipales.
?
? 29
Teoría de Cambio de los volantes de información
Factores que conectan producto con impacto
Necesidades Insumo Producto Resultado Intermedio
Impacto Objetivo a largo plazo
Información Pública
Relevante para los votantes no es utilizada. Los gobiernos locales
tienden a malgastar fondos sin represalias
Volantes: Campaña de información previo a elecciones municipales enfocadas en quiénes
son responsables de proveer
ciertos servicios públicos
Votantes se hacen más conscientes sobre el
desempeño de sus
representantes municipales.
Más votantes se cambian de partido para votar por la oposición (Se vota menos por partido y más por
gestión)
?
? 30
Teoría de Cambio de las cuotas
Lo que quiero afectar directamente relacionado con objetivo => HIPOTESIS CLAVES
Defina las hipótesis clave antes del inicio del experimento
• Suponga que recolecta datos de 20 diferentes indicadores de impacto– Encuentra uno que es muy positivo– Encuentra uno que es muy negativo– Encuentra que para 18, los resultados son muy similares y no son significativamente diferentes
• ¿Qué puede concluir?
32
Múltiples posibles impactos
Necesidades Insumo Producto Resultado Intermedio
Impacto Objetivo a largo plazo
Información Pública
Relevante para los votantes no es utilizada. Los gobiernos locales
tienden a malgastar fondos sin represalias
Volantes: Campaña de información previo a elecciones municipales enfocadas en quiénes
son responsables de proveer
ciertos servicios públicos
Votantes se hacen más conscientes sobre el
rendimientos de sus
representantes municipales.
Más votantes se cambian de partido para votar por la oposición (Se vota menos por partido y más por
gestión)
Candidatos y/o partidos con mejor rendimiento ganan más
elecciones
Mejor uso de los recursos públicos a nivel local y
mejoramiento de la entrega de servicios
34
Teoría de Cambio de las cuotas
1. Teoría de Cambio– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Cuotas en consejos de aldeas en India
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
Resumen de la exposición
35
• Describe el entorno en cual se realiza la intervención/el experimento
• Cuantifica insumos en la intervención
• Permite evaluar la implementación de la intervención
• Cuantifica los resultados e impactos
• Registra las percepciones de la intervención
Medición…
36
• Describe el entorno en cual se realiza la intervención/el experimento
• Cuantifica insumos en la intervención• Permite evaluar la implementación de la intervención• Cuantifica los resultados e impactos• Registra las percepciones de la intervención
Medición…
37
SE HACE POR MEDIO DE INDICADORES
• Variables cuantitativas o cualitativas que nos permiten de forma sencilla y confiable:– Describir entorno de necesidades– Medir insumos– Caracterizar implementación/procesos– Cuantificar resultados/impactos– Registrar percepciones
Indicadores son…
• C (laros): precisos y sin ambigüedad
• R (elevantes): apropiados para la medición en cuestion
• E (conómicos): fáciles de medir y recolectar
• A (decuados): suficientes para detectar impactos en hipótesis claves
CREA: Características de buenos indicadores (Kusek & Rist 2004)
NecesidadesInsumo Producto Resultado
IntermedioImpacto Objetivo a
largo plazo
Información Pública
Relevante para los votantes no es utilizada. Los gobiernos locales
tienden a malgastar fondos sin represalias
Volantes: de información previo a elecciones municipales
Votantes se hacen más conscientes sobre el
rendimientos de sus
representantes municipales.
Más votantes se cambian de partido para votar por la oposición (Se vota menos por partido y más por
gestión)
Candidatos y/o partidos con mejor rendimiento ganan más
elecciones
Mejor uso de los recursos públicos a nivel local y
mejoramiento de la entrega de servicios
INDICADORES:
? ?42
Teoría de Cambio con indicadores
?
Necesidades Insumo Producto Resultado Intermedio
Impacto Objetivo a largo plazo
Información Pública
Relevante para los votantes no es utilizada. Los gobiernos locales
tienden a malgastar fondos sin represalias
Volantes: de información previo a elecciones municipales
Votantes se hacen más conscientes sobre el
rendimientos de sus
representantes municipales.
Más votantes se cambian de partido para votar por la oposición (Se vota menos por partido y más por
gestión)
Candidatos y/o partidos con mejor rendimiento ganan más
elecciones
Mejor uso de los recursos públicos a nivel local y
mejoramiento de la entrega de servicios
INDICADORES:
Cambio en la votación entre partidos
Elecciones ganadas por partidos oficialistas versus partidos de oposición 43
Teoría de Cambio con indicadores
・ Monto y tipo de gastos municipales ・ Número de servicios públicos disponibles ・ Uso público y percepción de servicios Miunicipales
1. Teoría de Cambio– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Cuotas en consejos de aldeas en India
2. Resultados e indicadores
3. Nociones iniciales de medición del impacto
Resumen de la exposición
44
• ¿Qué habría ocurrido en ausencia del programa a quienes participaron en él?
• Diferencia entre Qué ocurrió (con el programa)
– qué habría ocurrido (sin el programa)
= IMPACTO del programa
45
¿Cómo medir el impacto?
• Contrafactual: ¿Qué habría ocurrido en ausencia del programa a quienes participaron en él?
• No puedo observar a una persona que participa y no participa en el programa simultáneamente.
• Objetivo clave de todos los métodos de evaluación de impacto es construir o “replicar” el contrafactual.• Seleccionando un grupo no afectado por el programa,
un grupo de comparación (o “grupo de control”)
Impacto y el contrafactual
• Experimental:– Utiliza asignación aleatoria del programa para crear un grupo de control que imite el contrafactual.
• No experimental:– Argumenta que un cierto grupo excluido replica el contrafactual.
48
Construyendo el contrafactual
Observando el contrafactual
Los votantes en México siguen privilegiando su partido!!!!Aún cuando se les informa de la mala gestión de sus representantes deciden no escuchar
Observando el contrafactual
Volantes hacen que oposición obtenga más votosEn estados menos poblados y en los que domina el oficialismo.
1. Evaluación de impacto requiere PROFUNDO conocimiento de funcionamiento y objetivos del programa
2. La TEORÍA DE CAMBIO facilita evaluación y medición de cómo funciona un programa y cual es su impacto
– Articula objetivos insumos, productos, resultados e impactos
– Simplifica definición de hipótesis de investigación – Facilita construcción indicadores para distintas metas del
programa– Ayuda a pensar escenario contrafactual
Conclusión
51
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Gracias !
([email protected]‐rio.br)PUC‐RioAbdul Latif Jameel Poverty Action Lab
povertyactionlab.org