Indicadores de Impacto de Políticas Públicas de apoyo
a la PYME
Indicadores de Impacto de Políticas Públicas de apoyo
a la PYMEOctubre 2006Montevideo - Uruguay
Índice
1. FUNDES
2. ¿Qué entendemos por evaluación?
3. Un modelo de evaluación
4. Reflexiones finales
1. FUNDES
2. ¿Qué entendemos por evaluación?
3. Un modelo de evaluación
4. Reflexiones finales
Misión
PyME
FUNDES promueve e impulsa el desarrollo competitivo de la
PyME en América Latina
FUNDES: Cuatro niveles de acción
Perspectiva Sistémica
NivelMeta
Nivel Macro
Nivel Meso
Nivel Micro• Capacitación• Asistencia técnica y
facilitación del acceso al financiamiento
• Asociatividad• DEL y encadenamientos
productivos
• Fomento del espíritu emprendedor.
• Promoción de alianzas, implementación de programas de vinculación a nivel regional y sectorial.
• Identificación de obstáculos, investigación,desarrollo e implementación de propuestas, cabildeo.
FUNDES en América Latina
FUNDES
10 países
Más de 250 empleados
Alrededor de 400 consultores / facilitadores
México
El Salvador
Panamá
ColombiaCosta Rica
Bolivia
Chile
Guatemala
Venezuela
Argentina
Nuestros Antecedentes en Evaluación
• En 1995 se hizo la evaluación de nuestro programa de garantías
• En el 2000 se efectuó una evaluación de impacto de nuestros programas de formación
• En el 2001 se llevó a cabo un proyecto con el BID para desarrollar una guía para evaluar políticas de fomento que culminó en el documento: • “Guía de Valoración de Políticas de Fomento”
• En el 2002 se efectuaron evaluaciones de algunos de nuestros programas en la productividad
• En el 2005 se solicitó a CEPAL una evaluación del aporte de nuestros programas en el desarrollo de la pyme
1. FUNDES
2. ¿Qué entendemos por evaluación?
3. Un modelo de evaluación
4. Reflexiones finales
Algunas preguntas motivadoras
• Que entendemos por evaluación de impacto
• Como la diferenciamos de una evaluación de resultados, el monitoreo, etc.
• ¿Que necesitamos para desarrollar un sistema de evaluación que funcione?
La necesidad de entender la evaluación
• Generalmente hablamos de “tener impacto”
• Ejemplo: la empresa aumentó sus ventas, redujo sus costos, aumento su empleo, etc.
• Pero, ¿respecto a que?• La misma empresa en el pasado • Otra empresa como ella
• Esas dos respuestas son diferentes
• El asunto es que al evaluar hablamos de “comparar”• Sea a la misma empresa respecto a su situación anterior, es
decir, antes de una intervención• Con otra empresa como ella (comparable) que no haya
recibido tal intervención
• El primer caso refiere a un “resultado”• El segundo caso se refiere al “impacto”
Señalando resultados
• Las instituciones que participan en el fomento con frecuencia muestran resultados de este tipo:
• Invertimos Z miles de dólares en programas de fomento
• Con esos Z miles de dólares atendimos a N miles de empresas
• Las empresas atendidas son ahora mas competitivas • Antes vendían 100, ahora venden 120• Antes solo el 10% exportaba, ahora lo hace el 20%• Los salarios aumentaron en un 5%
• Hasta este punto, aún no sabemos si los programas de fomento tienen algo que ver con los resultados
• Tenemos que poder asociar los resultados con los objetivos del programa
¿Como se expresa la evaluacievaluacióón de impacton de impacto?
TiempoGrupos
Antes Después
Con intervención X X´
Sin intervención Y Y´
• El impacto Z de la intervención puede expresarse como:
• Z= (X’-X) – (Y’-Y)
• Z>0 es lo esperado si la intervención es exitosa• X’- X representa los cambios producidos en el grupo intervenido como consecuencia
de la misma• Y´- Y representa los cambios producidos en el grupo sin intervención, como resultado
de la incidencia de las variables del entorno. • X’-Y’ son las diferencias finales entre el grupo intervenido y el sin intervención. Sin
diferencias iniciales, las diferencias finales serían igual al impacto.• X-Y son las diferencias iniciales entre el grupo con Proyecto y sin Proyecto que deben
ser minimizadas.• La diferencia (X’-X) – (Y’-Y) elimina toda incidencia del entorno quedando sólo la
diferencia imputable a la intervención.
La necesidad de Información
• Cualquiera que sea el concepto usado, es claro que se requiere de INFORMACIÓN:
• De la empresa X que es sujeta de intervención• Antes de la intervención• Después de la intervención
• De la empresa Y que no es sujeta de intervención• Antes de la intervención en X• Después de la intervención en X
• Por lo tanto, cualquier tipo de evaluación requiere de información ex – ante y ex – post
• Lo anterior supone la existencia de un sistema de información
1. FUNDES
2. ¿Qué entendemos por evaluación?
3. Un modelo de evaluación
4. Reflexiones finales
Lo primero, crear cultura
• Los cambios de gobierno implican “recrear” muchas instituciones
• La inestabilidad de los equipos es un obstáculo a la creación de una cultura organizacional
• Son pocas las instituciones concientes de la necesidad de evaluarse permanentemente • Muchos programas e intervenciones se hacen “sin información”
• Tener información confiable y oportuna nos permite: • Monitorear procesos • Señalar resultados• Evaluar impacto
• La evaluación sirve para mejorar y focalizarnos
• Tomar decisiones • Sobre productos• Sobre procesos
• Necesidad de sensibilizar a los equipos sobre el verdadero significado de la evaluación
Un sistema de información
• Existen diferentes etapas o niveles en una evaluación, pero todos ellos requiere de información:
• Al inicio, antes de que la empresa sea sujeta de una “intervención”
• Durante o al fin de la intervención
• Luego de la implementación de las acciones recomendadas en la intervención
Requerimientos de información,al inicio
• Existen diferentes etapas o niveles en una evaluación, pero todos ellos requiere de información:
• Al inicio, antes de que la empresa sea sujeta de una “intervención”
• ¿Como saber si la empresa mejoró o no si no sabemos como entró al programa?
• Información útil para identificar empresas “comparables” que no hayan sido sujetas a una intervención
Un ejemplo de información de entrada
I.- Datos Identificación:• Nombre empresa• Nombre empresario o representante / género • Datos de contacto (dirección completa, teléfono, fax, email, Web)• Sector CIIU• Clasificación de empresa por tamaño
II.- Datos de la empresa:• Número de jefaturas total en la empresa • Estructura de la propiedad (familiar o no)• Ventas en monto • Empleo promedio • Salarios totales • Distribución de las ventas:
• Gran • Pyme • Micro • Consumidor final • Gobierno • Extranjero
III.- Otros datos relevantes• Año de fundación de la empresa• Años de experiencia laboral del dueño• Años de experiencia empresarial del dueño• Años de escolaridad formal del dueño
Requerimientos de información,durante o al fin
• Existen diferentes etapas o niveles en una evaluación, pero todos ellos requiere de información:
• Durante o al fin de la intervención
• Establece una primera percepción respecto del éxito de la intervención
• Encuesta de satisfacción
• Se observan cambios cualitativos que son antesala del impacto • Mejoras en las relaciones laborales• Cambios en la gestión• Incorporación de nuevas estrategias• Definió roles y responsabilidades específicas• Incorpora nuevas partes al proceso productivo
Requerimientos de información, luego de la implementación
• Existen diferentes etapas o niveles en una evaluación, pero todos ellos requiere de información:
• Luego de la implementación de las acciones recomendadas en la intervención
• Se establece al impacto en función del objetivo de la herramienta sobre las variables definidas:
• Costos• Ventas• Salarios• Etc.
Los tipos de resultados o “impactos”
• Cambios cualitativos al interior de la empresa:• Cambios en la forma de organización• Cambios en las relaciones:
• Con colaboradores• Con clientes • Con proveedores
• Cambios en el proceso productivo• Cambios en la gestión de la empresa
• Resultados económicos de las empresas (respecto de empresas no intervenidas “comparables”)• Mejoras en productividad • Reducción de costos • Empleo • Salarios • Internacionalización
• Resultados agregados• A nivel de la eficacia del instrumento de política • Crecimiento de la productividad • Participación del sector en la actividad económica
Los componentes del sistema
Percepción Resultados Impacto
Los componentes del sistema
Percepción Resultados Impacto
Recoge la percepción del cliente, sea durante la intervención o inmediatamente terminada la misma.
Los componentes del sistema
Percepción Resultados Impacto
Recoge resultados asociados al cambio en la empresa respecto de su desempeño previo / obtiene información asociada al cumplimiento de la promesa u objetivo principal de las herramientas utilizadas.
Los componentes del sistema
Percepción Resultados Impacto
Medición de los cambios concretos en la empresa sobre la base de un conjunto de indicadores definidos, respecto de otras que no pasaron por la intervención.
Elementos a considerar
• EL modelo se puede quedar en cualquiera de las tres etapas
• Calidad y consistencia de la información disponible: de un buen levantamiento al inicio depende la certeza del resultado final
• La metodología depende del tipo de intervención de que se trata
• En el caso de la evaluación de impacto; la calidad de la base de datos del grupo de control (los no intervenidos)
• El período necesario para poder evaluar el impacto (variable según el tipo de intervención)
• La independencia del evaluador
• El poder de modificar el programa según los resultados obtenidos
Elaboración propia con base en J.M. Benavente: Evaluaciones de Impacto de programas públicos
1. FUNDES
2. ¿Qué entendemos por evaluación?
3. Un modelo de evaluación
4. Reflexiones finales
Algunas reflexiones
• ¿Siempre se debe medir impacto?• Es lo deseable• Pero los recursos disponibles son escasos y estas
evaluaciones son costosas• Se debe elegir
• ¿Qué hacer si no contamos con información de base?• Construirla!• Sino, nos quedamos a nivel de la encuesta de satisfacción
• Contar con un sistema de información es la base• Puede ser pequeño, sencillo• Al ser uniforme permite comparar• Es el punto de partida de todo
• Claridad de los objetivos de una intervención• El cliente debe estar claro de ello antes de la intervención• Es lo que se evalúa primero, luego los beneficios asociados
Para que nos sirve la evaluación
• No debemos temerle a la evaluación• Su fin no es echar gente (o no debería serlo)
• La evaluación sirve para mejorar y focalizarnos
• Para lograr una mejora continua en productos y procesos
• Tomar decisiones sobre el manejo de los recursos
• Evaluar sobre los objetivos que el cliente quiere lograr
• Para hacer de la institucionalidad un ente que aprende tanto de sus aciertos como de sus errores
¡¡ Gracias !Gracias !
FUNDES promueve e impulsa el FUNDES promueve e impulsa el desarrollo competitivo de la PYME desarrollo competitivo de la PYME
en Amen Améérica Latinarica Latina
ÁÁrea de Investigacirea de InvestigacióónnFUNDES Internacional FUNDES Internacional
www.fundes.orgwww.fundes.org