Programa
DiagnósticoEv
alua
ción D
iseño
UdEP
Asesoramiento
para
cad
a
etapa
Colaboración
estratégicaM
ejo
ra
del
imp
acto
Implementación
Guía metodológica
Metodología de Teoría del Cambio
La Metodología de Teoría del Cambio es una herramienta útil para
facilitar el proceso de conceptualización, diseño, implementación
y evaluación de programas. Su uso ayuda a los responsables a
estructurar y formular mejor sus ideas e inquietudes y a traducirlas
en un esquema claro y preciso de realización, contribuyendo a la
gestión y la calidad de los programas. De esta manera colabora
con la gestión estratégica de procesos complejos e inciertos.
La Metodología de la Teoría del Cambio propone la creación de una
cadena de resultados. Ésta se construye mediante una estrategia
de deconstrucción desde el impacto y el objetivo que se busca
alcanzar hasta las acciones más específicas que contribuirán a
lograr tales objetivos.
Toda planificación estratégica de programas implica atravesar dos etapas:
*Esta guía metodológica fue desarrollada en base a Ortegón, E., Pacheco, J.F., Prieto, A., (2005) Metodología del marco lógico para la planificación, el
seguimiento y la evaluación de proyectos y programas, Serie de Manuales 42. ILPES-CEPAL, Santiago de Chile, Chile, y en base a Gertler, P., Martínez, S.,
Premand, P., Rawlings, L., Vermeersch, C., (2011) La evaluación de impacto en la práctica, Banco Mundial, Washington DC, USA.
a) Identificación del problema y alternativas de solución
En esta etapa se analiza la situación actual, se crea una visión de la situación deseada y se seleccionan las estrategias que serán implementadas para alcanzarla. Este momento incluye el análisis de los involucrados (stakeholders - agentes de interés), así como del problema y de los objetivos del programa, la búsqueda y definición de alternativas de solución y finalmente, la construcción de la estructura del programa.
b) Etapa de planificación
En esta etapa la idea del programa se transforma en un plan operativo práctico que será de gran utilidad al momento de la implementación y será plasmado en la Cadena de Resultados y la Matriz.
Guía
Situación Problemática
El barrio Álamos fue construido por el Ministerio de Vivienda de Chile en los años 70 para dar respuesta al problema habitacional que enfrentaban las familias asentadas en esos terrenos. Las viviendas se edificaron sobre lotes de 9mts de ancho por 18mts de largo. El tamaño de estos terrenos permitió que con el paso del tiempo se levantaran en los fondos nuevas construcciones más o menos precarias, que albergan hoy a los hijos y a sus nuevas familias. La vida en estos conglomerados de familias es difícil y atravesada por importantes conflictos cotidianos debido a la alta densidad poblacional así como por las dificultades de acceso a los servicios básicos.
Aproximadamente el 70% de las viviendas de Álamos albergan conglomerados de familias, ya sea al interior de la vivienda principal o en viviendas adicionales. Además se encuentran en la zona “microcampamentos” (entre 11 y 14 familias) que no cuentan con el abastecimiento mínimo de los servicios básicos.
Esta situación propició la aparición de asentamientos irregulares, generando un importante déficit habitacional. El barrio Álamos es uno de los seis barrios más pobres del Área Metropolitana.
A través de un trabajo de entrevistas realizado por funcionarios del municipio en dónde se ubica el barrio Álamos se toma conocimiento de que los jefes de estas familias están muy interesados en mejorar sus condiciones habitacionales y en llegar a ser propietarios de una vivienda. Además, entienden que sus condiciones de convivencia no son las mejores.
A partir de esta necesidad el Ministerio de Viviendas diseñó el programa “Viviendas Felices”.
A lo largo de esta breve guía aplicaremos las herramientas
sobre el caso del barrio Álamos.
Identificación de problemas y alternativas de solución
Alto grado de violencia intrafamiliar
Oferta de vivienda inexistente
Desaprovechamiento de programas habitacionales gubernamentales
Poca cultura de ahorro
Malas condiciones habitacionales en Álamos
Problemas de convivencia familiar
Alto nivel de hacinamiento
Mayor inseguridad ciudadana Alto riesgo sanitario
Insuficiente organización comunitaria
Poca capacidad de gestión municipal para ejecutar proyectos
Alta densidad poblacional por vivienda Dificultad de acceso a servicios básicos
Problemas de adquisición de vivienda
Poca capacidad de ahorro
Efectos
Problema central
Causas
PASO 1: Acordar y priorizar el problema central que afecta a la comunidad. No confundir el problema con la ausencia de una solución. No es lo mismo decir “falta de viviendas” (ausencia de solución) que “malas condiciones habitacionales” (problema).
PASO 2: Definir cuáles son los efectos principales de nuestro problema para establecer el orden y gravedad de sus consecuencias.
PASO 3: Identificar las principales causas de nuestro problema estableciendo el encadenamiento entre éstas. Es importante llegar a las causales primarias e independientes entre sí que se piensa que están originando el problema.
Pasos para la construcción del árbol de problemas
La construcción de un árbol de problemas permite visualizar la situación problemática que se desea transformar.
Nuestro plan de trabajo consistirá en:
(1) Análisis de problemas
La construcción de un árbol de objetivos permite visualizar la situación futura que se desea alcanzar. Para construirlo, se convierten los estados negativos en soluciones expresadas en forma de estados positivos. Esta transformación evita que se pierda información valiosa.
Las causas se transforman en medios y los efectos en fines (Impacto de largo plazo en la Cadena de Resultados). Los medios son aquellas acciones convenientes para alcanzar determinado fin.
Violencia intrafamiliar reducida
Facilidad de adquisición de vivienda
Capacidad de ahorro mejorada
Aprovechamiento de programas habitacionales gubernamentales
Cultura de ahorro mejorada
Condiciones habitacionales mejoradas en Álamos
Organización comunitaria mejorada
Capacidad de gestión municipal para ejecutar proyectos mejorada
Densidad poblacional por vivienda disminuida Acceso a servicios básicos mejorado
Convivencia familiar mejorada
Nivel de hacinamiento disminuido
Inseguridad ciudadana disminuida Riesgo sanitario disminuido
Mayor oferta de vivienda
(2) Análisis de objetivos
Detectar quiénes serían los principales involucrados en un programa es una instancia fundamental para seleccionar las estrategias óptimas, permitiendo viabilizar las acciones del programa y dimensionar su alcance real. Los involucrados pueden presentar una dinámica particular en cada etapa del programa según su posición, fuerza e intensidad frente al mismo.
Características de los involucrados:• Posición; indica cuál es su grado de apoyo u oposición al programa. También se considera si los actores sostienen otras alternativas de solución frente a la necesidad identificada• Fuerza; indica el poder para afectar el programa (positiva o negativamente)• Intensidad; indica la importancia que el involucrado le adjudica al proyecto
Tener presente esta información es crucial para determinar los modos de participación de los involucrados en la identificación, análisis y selección del problema objetivo y de las alternativas de solución.
(3) Análisis de los involucrados (stakeholders)
PASO 1: Identificación de accionesEsta etapa consiste en formular acciones prácticas y efectivas que solucionen el problema planteado. Para realizarlo, se deben operacionalizar aquellos medios ubicados en la parte más baja del árbol de objetivos. Se recomienda contar con una cantidad considerable de acciones para cada medio.
Posibles propuestas de acción para el programa “Viviendas Felices”Para el medio “Mayor oferta de vivienda”, las acciones pueden ser:o Construir nuevas viviendaso Reubicar a las familiasPara el medio “Aprovechamiento de programas habitacionales gubernamentales”, la acción puede ser:o Desarrollar campaña de información sobre programas gubernamentales
(4) Selección de la estrategia óptima
PASO 2: Postulación de alternativasUna vez planteadas las diferentes acciones, es útil visualizar su relación en términos de si son complementarias o excluyentes.
Por complementarias entendemos aquellas acciones que son factibles y contribuyen a la solución al ser implementadas en conjunto. Las excluyentes en cambio no pueden implementarse juntas.Una vez construido este panorama es más fácil entender cuáles acciones son excluyentes y agrupar aquellas complementarias, para así proponer las diversas alternativas de solución.
PASO 3: Selección de la estrategia óptima La selección de una de las alternativas se realiza analizando su nivel de incidencia, de factibilidad y de viabilidad física, técnica, presupuestaria, ambiental, política, institucional y cultural de ser aplicada. Finalmente, entre las alternativas viables se escogerá aquella con mayor pertinencia, eficiencia y eficacia.Bajo estos criterios, una vez identificado el problema y después de haber acordado sobre la mejor alternativa de solución (resultado del programa) es posible identificar aquellas áreas sobre las que el potencial programa no va a poder intervenir y aquellas sobre las cuales el programa va a poder producir una mejora. Con esto en consideración es posible comenzar a pensar en el diseño de un programa.
La Estructura del Programa sintetiza la información construida en las instancias anteriores permitiendo recuperar una dimensión global.
• El árbol de objetivos aporta información para la definición de los resultados del programa y la determinación de los impactos a largo plazo más relevantes • Los productos y actividades se derivan de la selección de la estrategia óptima
Una vez armada esta Estructura del Programa se dispone de toda la información necesaria para volcar dentro de la Cadena de Resultados.
(5) Elaboración de la Estructura del Programa
Cadena de ResultadosLa Cadena de Resultados da una definición lógica y plausible de cómo interactúan los insumos, actividades y productos para lograr los resultados del programa y sus consecuentes impactos a largo plazo.
Tiene la siguiente forma:
La Cadena de Resultados define la lógica causal del programa y tiene una doble lectura: en la etapa del diseño, el proceso se construye desde el impacto de largo plazo hasta los insumos y en la etapa de implementación, se revisa en sentido inverso.
ProductosSon los bienes tangibles y los servicios que producen las actividades del programa.
¿Qué entregará el programa?• Los productos están directamente bajo el control del organismo ejecutor • Tienen que ser suficientes para lograr los resultados del programa.
Resultados del programaSon los resultados que se espera alcanzar una vez que la población objetivo se beneficie de los productos del programa.
¿Por qué el programa es necesario para los beneficiarios?• Describe el efecto directo al final del período de implementación• Es el cambio que fomentará el programa• Es una hipótesis sobre lo que debiera ocurrir como consecuencia de producir y utilizar los productos.
ActividadesSon las acciones emprendidas y el trabajo realizado para transformar los insumos en productos.
¿Qué se hará?• Las actividades son aquellas acciones que el programa tiene que llevar a cabo para producir cada producto e implican la utilización de insumos• Son el punto de partida del plan de implementación• Deben estar en orden cronológico y agrupadas por productoSe sugiere armar el detalle de las actividades, el tiempo que tomarán y los recursos que implican en un documento separado.
InsumosSon los recursos humanos y materiales específicos que se requieren para realizar las actividades del programa.
Además, la construcción de una cadena de resultados es fundamental al momento del diseño del programa y permite pensar estratégicamente con una mirada puesta en la evaluación. La identificación de indicadores y de métodos de verificación se transforma así en piezas clave de este proceso.
Impacto a largo plazo Son los objetivos finales a los que contribuye el programa.
¿Por qué el programa es importante para los beneficiarios y la sociedad?• El impacto a largo plazo representa un objetivo de desarrollo a largo plazo• No implica que el programa, por sí solo, sea suficiente para lograr ese fin.
Insumos Actividades Productos Resultados
del programa
Impactos a largo plazo
La Cadena de Resultados tiene dos partes principales: Implementación: El trabajo programado producido por el proyecto, que incluye los insumos, las actividades y los productos. Se trata de los aspectos que puede supervisar directamente el organismo ejecutor para medir el desempeño del programa. Resultados: Se refiere a lo que se ha denominado resultados del programa e impacto de largo plazo en la cadena de resultados. No dependen solo del control directo del programa sino también de cambios de comportamiento de los beneficiarios del programa. En otras palabras, dependen de las interacciones entre el lado de la oferta (implementación) y el lado de la demanda (beneficiarios). Estos son los aspectos que se someten a la evaluación de impacto para medir la efectividad.
Ejemplo de Cadena de Resultados del programa “Viviendas Felices”
Insumos Actividades Productos Resultados
del programa
Impactos a largo plazo
Viviendas unifamiliares construidas y entregadas a la población objetivo del programa
Instalación de alcantarillado
Pavimentación de calles
Ejecución de campaña
Instalación de electrificación
Instalaciones de agua potable
Obras de construcción
Relocalización de los
beneficiarios
Diseño de campaña
Campaña de información,
capacitación y sensibilización
ejecutado
Mejores condiciones
habitacionales en Álamos
Contribuir a mejorar las
condiciones de vida de las familias en situación
vulnerable
Materiales de construcción
Materiales para la instalación
eléctrica
Empresa constructora
Acuerdo con Aysa
Capacitadores
Material de difusión:
folletería y banners
Materiales didácticos
Empresa de mudanza
La matriz incluye los mismos componentes de la cadena de resultados especificando indicadores, medios de verificación y supuestos para cada uno. Aporta información valiosa en las instancias de monitoreo y evaluación.
Cada columna se comprende de la siguiente manera:
Obje%vos Indicadores Medios de Verificación Supuestos
Impacto a Largo Plazo: El obje(vo final del programa. Obje(vos de largo plazo. Cambios en los resultados producidos por múl(ples factores.
Resultados del programa: Uso de los productos que realiza la población beneficiaria. No totalmente bajo el control del organismo ejecutor.
Productos: Bienes resultantes de la transformación de insumos en productos tangibles. Bienes y servicios producidos bajo el control del organismo ejecutor.
Ac%vidades: Acciones emprendidas o trabajo realizado para transformar los insumos en productos específicos. Serie de ac(vidades emprendidas para producir bienes y servicios.
Insumos: Recursos financieros, humanos y de otro que se movilizan para realizar las ac(vidades. Presupuestos, dotación de personal y otros recursos disponibles
Indicadores Constituyen una buena medida del desempeño del programa.•Son los resultados específicos a alcanzar. Presentan información necesaria para determinar el progreso hacia el logro de los objetivos establecidos por el programa.•Como regla general, los indicadores deberán cumplir con determinados criterios. En otras palabras, deben ser EMARF*. o Específicos: para medir la información de forma precisa y sin ambigüedad o Medibles: para asegurar que es factible obtener la información o Atribuíbles: para asegurar que cada indicador esté relacionado con los logros del programa o Realistas: para asegurar que los datos se pueden obtener puntualmente, con una frecuencia razonable y a un costo razonable o Focalizados: en la población objetivo y enmarcados en el tiempo.*De las siglas en inglés SMART.
Medios de verificaciónIndican de dónde se obtendrá la información para construir los indicadores. Los medios de verificación pueden ser:•Datos administrativos: por ejemplo, recibos presentados•Datos primarios: información que produce el programa a través de encuestas, entrevistas, observación, etc. •Datos secundarios: información estadística preexistente
SupuestosSon los factores externos que están fuera del control de los responsables del programa y que inciden en el éxito o fracaso del mismo (ambientales, financieros, institucionales, sociales, políticos, climatológicos u otros factores).•Si no se cumplen, ponen en riesgo los distintos niveles de objetivos del programa.
ObjetivosEn esta columna se plasma la Cadena de Resultados.
Matriz
Matriz del programa “Viviendas Felices”
Obje%vos Indicadores Medios de verificación Supuestos
Impacto a largo plazo
Contribuir a mejorar las condiciones de vida de las familias en situación vulnerable.
Al finalizar el programa el acceso a servicios (agua potable y electricidad) se ha incrementado en un 70%.
Registros de la oficina de planeación del municipio (datos secundarios).
Al año de finalizado el programa ha mejorado el nivel de seguridad ciudadana en un 30%.
Registros de la oficina de planeación del municipio (datos secundarios).
Al año de finalizado el programa ha disminuído el nivel de violencia intrafamiliar en un 20%.
Registros de la oficina de planeación del municipio (datos primarios).
Resultado del programa
Mejores condiciones habitacionales y de convivencia en Álamos.
Las condiciones de hacinamiento de 68 familias en Álamos han disminuído de 4 personas por habitación a 2. Registros del proyecto.
Los patrones culturales de la comunidad facilitan el cambio para la aceptación del modelo habitacional y de convivencia como una alternaMva para mejorar condiciones de vida.
Al finalizar el programa el 100% de las obras públicas construídas y equipadas se encuentran en buen estado de funcionamiento en concordancia con el Plan de Mantenimiento establecido.
Registros del proyecto sobre el mantenimiento de obras y de las oficinas de obras públicas del municipio (datos administraMvos).
el 80% de los beneficiarios percibe que ha mejorado la convivencia en el hogar y han parMcipado de al menos 3 acMvidades comunitarias durante el primer año de finalizado el programa.
Encuestas periódicas y registros de los centros comunales (datos primarios y administraMvos).
Productos
Viviendas unifamiliares construídas y entregadas a población objeMvo del programa.
68 conexiones domiciliarias de servicios públicos instalados en concordancia con las normas vigentes, al final del programa.
Registros de propiedad de cada vivienda expedido por la oficina de catastro municipal.
Se aplican las normas y políMcas municipales de ordenamiento y regularización de asentamientos habitacionales urbanos. Existe un sistema de subsidio cruzado que garanMza un consumo mínimo familiar de servicios públicos básicos (acueducto, electricidad, alcantarillado) una vez recibida la vivienda por cada familia.
68 familias reciben Xtulos de propiedad de su respecMva vivienda por parte del Municipio, al finalizar el programa .
Reportes finales del proyecto. Registros de propiedad de cada vivienda expedido por la oficina de catastro municipal.
2042 m2 de calles y pasajes construídos al final del programa bajo normas de construcción del Ministerio de Vivienda.
Registros de inspección realizados por el municipio; Permisos y cerMficados de construcción y cerMficaciones ambientales expedidas por la autoridad respecMva; planos y diseños de la obra. CerMficación del municipio entregado a las empresas constructoras sobre el recibimiento de obra a saMsfacción.
Campaña de información, capacitación y sensibilización ejecutado.
Durante los 2 años del programa se han realizado al menos 10 acMvidades de sensibilización y capacitación en temas relacionados con violencia y parMcipación ciudadana.
Reportes de ejecución de acMvidades de sensibilización del proyecto.
Los beneficiarios son capaces de trasladarse hacia el lugar de las campañas
Ac%vidades
Instalación de alcantarillado. Instalación de 250 alcantarillas en un año. Presupuesto: 4 848 572.
Proforma presupuestaria, registros contables, inventarios, informes de avance del proyecto.
Licitaciones de las obras se llevan a cabo según los planes de ejecución del programa plazos, calidad, canMdad. Durante la ejecución del programa el número de los beneficiarios se manMene dentro de una banda de +/-‐ 10%.
Pavimentación de calles. Pavimentación de 5km de calles en un año. Presupuesto: 8 223 377.
Instalación de electrificación. Instalación de 3km de cables eléctricos en un año. Presupuesto: 2 337 184.
Instalaciones de agua potable. Instalación de 10 suministros de agua potable en el primer año de proyecto. Presupuesto: 3 736 538.
Obras de construcción. Construcción de 68 viviendas y 5 obras de urbanización en un año. Presupuesto: 151 033 610
Instalaciones domiciliares. 68 instalaciones domiciliares en el primer año. Presupuesto: 15 043 028.
Relocalización de los beneficiarios.
Relocalización del 100% de los beneficiarios al concluir el proyecto. Presupuesto: 422 500.
Diseño de campaña. 2 diseños de folletería para ser entregadas en el primer año. 5 banners diseñados en el primer año. Presupuesto: 1 216 800.
Ejecución de campaña.
10 acMvidades de sensibilización y capacitación a cargo de profesionales. 500 hojas de folletería entregadas en el primer año. Colocación de 15 banners en el primer año. Presupuesto: 15 000 000.
Desde la UdEP sabemos que el diseño y la implementación de cualquier programa se desarrollan en un escenario dinámico y cambiante. En este sentido, entendemos que las herramientas tienen que ser útiles para quienes diseñan y gestionan programas y promovemos que sean miradas y entendidas desde esta perspectiva.
Apuntamos a aportar una mirada estratégica al diseño y a la evaluación de los programas sin olvidarnos que tienen que agregar valor a quienes trabajan en los mismos, y sobre todo a quienes se benefician con ellos.
Desde ya, no duden en contar con el equipo de UdEP para remirar cada caso particular.
UdEPUnidad de Evaluación de ProgramasSubsecretaría de Planeamiento y Control de GestiónJefatura de Gabinete de Ministros
[email protected]/evaluaciondeprogramas
UdEPUnidad de Evaluación de ProgramasSubsecretaría de Planeamiento y Control de Gestión
Jefatura de Gabinete de Ministros