Post on 02-Jun-2020
transcript
INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y competitividad artesanal
INFORME DE EVALUACIÓN DIAGNÓSTICA
Programa 185
Productividad y Competitividad Artesanal
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 1 de 27 Programa 185 Productividad y competitividad artesanal
IDENTIFICACIÓN DE PROGRAMA 2018
PROGRAMA: 185 Productividad y competitividad artesanal
RESPONSABLE: 534 Instituto Oaxaqueño de las Artesanías
VINCULACIÓN CON EL PROGRAMA ESTATAL DE DESARROLLO
EJE: Oaxaca productivo e innovador
TEMA: Impulso a la economía y zonas económicas especiales
OBJETIVO:
Impulsar el desarrollo económico del estado mediante el incremento de la productividad y competitividad, a través del fortalecimiento de los sectores económicos estratégicos para una mayor inversión y generación de empleos que eleven la calidad de vida de las y los oaxaqueños.
CLASIFICACIÓN FUNCIONAL
FINALIDAD: Desarrollo económico
FUNCIÓN: Asuntos económicos, comerciales y laborales en general
SUBFUNCIÓN: Asuntos económicos y comerciales en general
CLASIFICACIÓN SECTORIAL
SECTOR: Impulso a la economía
SUBSECTOR: Impulso a la economía
CLASIFICACIÓN PROGRAMÁTICA CONAC
TIPOLOGÍA: Programas
SUBTIPOLOGÍA: Desempeño de las funciones
CLASIFICACIÓN TIPOLOGÍA:
Promoción y fomento
Página 2 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
RESUMEN EJECUTIVO
En cumplimiento a las disposiciones del Plan Anual de Evaluación 2017 del Estado de Oaxaca,
publicado por la Jefatura de la Gubernatura en el Periódico Oficial el 28 de abril del mismo año, así
como de los Términos de Referencia para la Evaluación Diagnóstica de los Programas Presupuestarios
Derivados del Plan Estatal de Desarrollo 2016-2022, ExploraMetrics presenta este Informe de
Evaluación Diagnóstica, correspondiente al programa 185 Productividad y competitividad artesanal, a
cargo de Instituto Oaxaqueño de las Artesanías.
El programa evaluado tiene como propósito lograr que las “personas y grupos dedicados a la actividad
artesanal elevan su productividad y competitividad” (a partir del árbol de objetivos). El programa atiende
un problema central identificado con los siguientes términos: “personas y grupos dedicados a la
actividad artesanal con escasa productividad y competitividad” (a partir del árbol de problemas).
Para cumplir con este objetivo, el programa considera 4 componentes, cada uno de los cuales propone
obtener los siguientes resultados:
1. Empadronamiento artesanal realizado;
2. Apoyos artesanales logrados;
3. Artesanos capacitados;
4. Artesanos beneficiados con acciones de promoción y fomento.
RESULTADO GLOBAL DE LA EVALUACIÓN
El programa 185 Productividad y competitividad artesanal cumple adecuadamente con 4 preguntas, es
decir 33.33% de las 12 preguntas generales contenidas en el instrumento de evaluación diseñado por
la Jefatura de la Gubernatura.
TEMA ID DE PROG
DIAGNÓSTICO POBLACIÓN O ÁREA DE ENFOQUE
POTENCIAL Y OBJETIVO MIR
PREGUNTA 1 2 3 4 5 6 7 8 9 10 11 12
RESPUESTA Sí No Sí Sí No Sí No No No No No No
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 3 de 27 Programa 185 Productividad y competitividad artesanal
En cuanto a los 42 aspectos específicos que se valoran en estas 12 preguntas generales, el programa
cumple en 26 casos, es decir 61.90% del total. Esto coloca al programa bajo el promedio de los
resultados obtenidos por los 88 sujetos a evaluación diagnóstica.
ASPECTOS FAVORABLES Y DE MEJORA
De la evaluación realizada, se identifican los siguientes aspectos favorables y/o fortalezas, por tema de
evaluación:
Identificación del programa y alineación a los objetivos del PED 2016-2022
Adecuada. Cumple con la mayoría de los requisitos de la herramienta de evaluación.
Diagnóstico:
Se ha presentado un documento como diagnóstico, pero no cumple los criterios requeridos por
la herramienta de evaluación.
Identificación de las poblaciones de interés para el programa
Esto también permanece como un área con retos.
Matriz de Indicadores para Resultados (MIR)
La lógica horizontal del programa es adecuada, si se asegura la validez de los medios de
verificación.
Por otra parte, en función de lo previsto en la metodología de marco lógico (MML), se identifican los
siguientes aspectos susceptibles de mejora:
Identificación del programa y alineación a los objetivos del PED 2016-2022
Se ha validado como adecuada.
Página 4 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
Diagnóstico:
El diagnóstico presentado no resulta muy adecuado. Probablemente hubo un error y se incluyó
un documento que parece pertenecer a otro programa (sobre zonas económicas especiales).
Conviene elaborar un diagnóstico que además precise las representaciones causales de los
árboles de problemas y objetivos. Ahora bien, esta deficiencia no debe exagerarse porque el
problema y el método para atenderlo (la teoría de cambio) del programa son relativamente
sencillos.
Identificación de las poblaciones de interés para el programa
Es necesario explicitar los criterios para definir a la población que recibirá los beneficios del
programa. Claramente es un subgrupo de la población de enfoque, pero se requiere un método
para asegurar que los recursos del programa lleguen a quienes deben estar destinados.
Matriz de Indicadores para Resultados (MIR)
Los indicadores de fin y propósito son adecuados aunque requieren revisarse las metas y la
línea base. El indicador de propósito no coincide (resumen narrativo) con el objetivo del árbol
de objetivos correspondiente.
La atención de estos aspectos permitirá fortalecer el diagnóstico subyacente y el diseño del programa;
contar con mejores condiciones para aprovechar las oportunidades e impulsar el logro de los objetivos
del programa; así como enfrentar con mejores perspectivas las amenazas que enfrente la
implementación y operación del mismo.
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 5 de 27 Programa 185 Productividad y competitividad artesanal
ÍNDICE
IDENTIFICACIÓN DE PROGRAMA 2018 ............................................................................................ 1
RESUMEN EJECUTIVO ...................................................................................................................... 2
INTRODUCCIÓN ................................................................................................................................. 6
EVALUACIÓN ...................................................................................................................................... 7
I. IDENTIFICACIÓN DEL PROGRAMA Y ALINEACIÓN A LOS OBJETIVOS DEL PED 2016-2022 7
II. DIAGNÓSTICO ............................................................................................................................ 8
III. POBLACIÓN O ÁREA DE ENFOQUE POTENCIAL Y OBJETIVO ............................................ 10
IV. MATRIZ DE INDICADORES PARA RESULTADOS (MIR) ........................................................ 12
HALLAZGOS MÁS RELEVANTES .................................................................................................... 14
RESULTADO GLOBAL DE LA EVALUACIÓN ............................................................................... 14
BALANCE GENERAL..................................................................................................................... 15
PRINCIPALES FORTALEZAS, OPORTUNIDADES, DEBILIDADES Y AMENAZAS ......................... 17
I. IDENTIFICACIÓN DEL PROGRAMA Y ALINEACIÓN A LOS OBJETIVOS DEL PED 2016-2022
....................................................................................................................................................... 17
II. DIAGNÓSTICO .......................................................................................................................... 18
III. POBLACIÓN O ÁREA DE ENFOQUE POTENCIAL Y OBJETIVO ............................................ 19
IV. MATRIZ DE INDICADORES PARA RESULTADOS (MIR) ........................................................ 20
CONCLUSIONES .............................................................................................................................. 22
BIBLIOGRAFÍA .................................................................................................................................. 23
ANEXO 1 ........................................................................................................................................... 26
ANEXO 2 ........................................................................................................................................... 27
Página 6 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
INTRODUCCIÓN
La evaluación es un instrumento imprescindible para la gestión orientada a resultados, los procesos de
mejora continua y la toma de decisiones. En México, la evaluación del ejercicio de los recursos públicos
-para asegurar su apego a los principios de eficiencia, eficacia, economía, transparencia y honradez-
constituye un mandato constitucional expreso, aludido por la Constitución Política de los Estados
Unidos Mexicanos en su artículo134; así como en el 137 de la Constitución Política del Estado de
Oaxaca.
En ese marco, la Jefatura de la Gubernatura del Estado de Oaxaca, en calidad de Instancia Técnica de
Evaluación (de conformidad con el artículo 50 fracción IV de la Ley Orgánica del Poder Ejecutivo del
Estado de Oaxaca) ha definido, en los Términos de Referencia 2017, que el objetivo de la evaluación
diagnóstica es: “proporcionar a los responsables de la administración y operación, elementos
sustentados que permitan llevar a cabo acciones encaminadas a mejorar el desempeño de los mismos,
así como una apreciación informada acerca de su orientación hacia el logro de resultados”.
De acuerdo con la metodología definida en el instrumento diseñado por la Jefatura de la Gubernatura,
la evaluación diagnóstica a programas presupuestarios consiste en la respuesta dicotómica (Sí/No),
por parte de un evaluador externo a 12 preguntas que incluyen 42 aspectos a considerar, divididos en
cuatro secciones o temas principales:
I. Identificación del programa y alineación a los objetivos del PED 2016-2022
II. Diagnóstico
III. Población o área de enfoque, potencial y objetivo
IV. Matriz de indicadores para resultados (MIR)
La metodología definida por la Jefatura de la Gubernatura y aplicada por ExploraMetrics en esta
evaluación implica un análisis de gabinete con información controlada, proporcionada por las
dependencias y/o entidades responsables de los programas presupuestarios que se evalúan, así como
por información adicional que la instancia evaluadora considere pertinente.
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 7 de 27 Programa 185 Productividad y competitividad artesanal
EVALUACIÓN
A continuación, se presentan los resultados de la evaluación diagnóstica aplicada por ExploraMetrics
al programa 185 Productividad y competitividad artesanal de acuerdo con el instrumento diseñado por
la Jefatura de la Gubernatura, mismo que se encuentra dividido en cuatro temas principales:
I. Identificación del programa y alineación a los objetivos del PED 2016-2022
II. Diagnóstico
III. Población o área de enfoque, potencial y objetivo
IV. Matriz de indicadores para resultados (MIR)
I. IDENTIFICACIÓN DEL PROGRAMA Y ALINEACIÓN A LOS OBJETIVOS DEL PED 2016-2022
1. ¿El programa cuenta con una identificación general que considere
a) Nombre del programa; Sí
b) Vinculación con el Plan Estatal de Desarrollo 2016-2022; Sí
c) UR responsable y URs participantes; Sí
d) Clasificación funcional (finalidad, función, subfunción); Sí
e) Clasificación sectorial (sector y subsector); Sí
f) Clasificación programática de acuerdo a los establecido por el Consejo Nacional de
Armonización Contable; Sí
g) Recomendaciones derivadas de evaluaciones anteriores al programa o la institución? No
Justificación
La Ficha del Programa y el Plan Estatal de Desarrollo confirman que se cumplen los criterios
anotados.
Aspectos susceptibles de mejora:
Identificar si existen evaluaciones y recomendaciones derivadas de ellas e integrarlas en el
expediente del programa. La búsqueda de evaluaciones previas debe realizarse con suficiente
Página 8 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
latitud para admitir documentos que refieran la problemática del programa aún si no se refieren
a la institución que lleva a cabo este programa actualmente.
II. DIAGNÓSTICO
2. ¿El programa cuenta con una definición del problema, en la cual se incluyan
a) Identificación de la población objetivo o área de enfoque No
b) Definición de su localización geográfica; No
c) Un indicador que cuantifique la magnitud del problema? No
Justificación
El diagnóstico presentado no cumple los criterios mencionados.
Aspecto susceptible de mejora
Elaborar o aprovechar un diagnóstico que cumpla con los criterios de diferenciación de
población potencial y objetivo, localización geográfica y cuantificación de las diferentes
dimensiones del problema.
3. ¿El programa presenta un árbol de problemas que incluye
a) Causas estructurales; Sí
b) Causas intermedias; Sí
c) Efectos del problema? Sí
Justificación
Los árboles de problemas y objetivos son representaciones verosímiles suficientes para
justificar la MIR en este momento. Pero no reflejan con claridad una teoría de cambio, elemento
con el cual se consolidaría la lógica vertical (y horizontal) del programa.
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 9 de 27 Programa 185 Productividad y competitividad artesanal
Aspecto susceptible de mejora
Se ha dado por válida la diferenciación entre factores estructurales e intermedios, porque la
representación gráfica refleja mecanismos causales verosímiles. Sin embargo, es necesario
enfatizar de manera explícita por qué cada factor se considera estructural o intermedio. La
respuesta adecuada con un criterio estricto sería no.
4. ¿El programa presenta un árbol de objetivos en el cual se identifican
a) La contribución del programa a la resolución del problema; Sí
b) Los medios para lograr esos fines? Sí
Justificación
El árbol de objetivos hace una representación de los factores mencionados.
Aspecto susceptible de mejora
La contribución de cada objetivo a la resolución de los problemas solamente puede estar
justificada por una teoría de cambio. Aunque las representaciones presentadas son verosímiles
y convincentes, se recomienda explicitar y explicar qué mecanismos causales (teoría de
cambio) operan en cada caso. La respuesta adecuada con un criterio estricto sería no.
5. Derivado del árbol de objetivos, ¿se han seleccionado las alternativas a las cuales se ha de
enfocar la intervención?
No
Justificación
El documento explica qué opciones no se tomaron, pero el razonamiento ofrecido no muestra
una ponderación adecuada de alternativas, pues la descartada ha estado desde un principio
fuera de alcance de la unidad responsable.
Aspecto susceptible de mejora:
La selección de alternativas debe reflejar una ponderación de cursos de acción posibles y
necesarias pero descartados por razones de costo beneficio (eficiencia). Requiere una
justificación explícita.
Página 10 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
III. POBLACIÓN O ÁREA DE ENFOQUE POTENCIAL Y OBJETIVO
6. ¿La población o área de enfoque potencial está
a) Identificada; Sí
b) Caracterizada; Sí
c) ¿Cuantificada? Sí
Justificación
La población de enfoque potencial está adecuadamente descrita a partir de un indicador de
INEGI (Encuesta Nacional de Ocupación y Empleo/ número de artesanos, trabajadores fabriles
y operadores de maquinaria).
Aspecto susceptible de mejora
Se recomienda definir los criterios de la población potencial. Actualmente dicha población está
descrita y por ello solamente definida de manera implícita.
7. ¿La población o área de enfoque objetivo está
a) Identificada; No
b) Caracterizada; Sí
c) Cuantificada? Sí
Justificación
Aunque se ha descrito adecuadamente la población potencial no se ha definido la población
objetivo.
Aspecto susceptible de mejora
Es necesario explicitar los criterios para definir a la población que recibirá los beneficios del
programa (población objetivo). En otras palabras, justificar por qué unos individuos o grupos sí
recibirán en 2018 o entre 2018 y 2022 los beneficios del programa (y otros no).
8. ¿La cuantificación de la población o área de enfoque potencial está desagregada por
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 11 de 27 Programa 185 Productividad y competitividad artesanal
a) Sexo; No
b) Grupos de edad; No
c) Población indígena No
Justificación
No parece necesario diferenciar por sexo o grupos de edad.
Aspecto susceptible de mejora
Es necesario diferenciar o hacer lugar específico a las acciones dirigidas para las poblaciones
indígenas, pues el PED las contempla (página 176 y siguientes).
9. ¿La cuantificación de la población o área de enfoque objetivo está desagregada por
a) Sexo; No
b) Grupos de edad; No
c) Población indígena No
Justificación
No parece necesario diferenciar por sexo o grupos de edad.
Aspecto susceptible de mejora
Como se indica con respecto a la población potencial, también es necesario considerar criterios
y cuantificar cómo el programa se dirige a comunidades indígenas.
10. ¿El programa cuenta con previsiones para la integración de un padrón de beneficiarios o
áreas de enfoque?
No
Justificación
Se presentaron documentos que no cumplen cabalmente con este criterio
Aspecto susceptible de mejora
Los documentos presentados son pautas para definir los criterios de selección: hace falta
desarrollarlos o mostrarlos de forma específica.
Página 12 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
IV. MATRIZ DE INDICADORES PARA RESULTADOS (MIR)
11. ¿El programa cuenta con una Matriz de Indicadores para Resultados (MIR), que cumpla con
a) Resumen narrativo; Sí
b) Indicadores que cumplan los criterios CREMAA (claridad, relevancia, economía, monitoreable,
adecuado y aporte marginal); No
c) Medios de verificación; Sí
d) Supuestos? Sí
Justificación
La Matriz presenta indicadores que cumplen con estas cualidades, aunque no siempre en su
totalidad. Hay mejoras qué hacer en cuanto a pertinencia. claridad y monitoreabilidad, en
algunos casos. Ver comentarios específicos en matriz adjunta. Esta respuesta solamente puede
valorarse como cumplida cuando se satisfacen todos sus requerimientos (lo que ocurre en la
minoría de los programas).
Aspecto susceptible de mejora
Revisar los indicadores con apego al Manual para el diseño y construcción de indicadores,
publicado por CONEVAL.
12. ¿Los indicadores establecidos en la Matriz de Indicadores para Resultados (MIR) cumplen
con las siguientes características
a) Nombre; Sí
b) Definición; Sí
c) Método o fórmula de cálculo; Sí
d) Tipo de indicador; Sí
e) Dimensión; Sí
f) Frecuencia de medición; Sí
g) Sentido esperado; Sí
h) Línea base; No
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 13 de 27 Programa 185 Productividad y competitividad artesanal
i) Metas? No
Justificación
La Matriz presenta indicadores que cumplen con estas cualidades, aunque no siempre en su
totalidad (líneas base, metas, definición, en algunos casos).Ver comentarios específicos en
matriz adjunta. Esta respuesta solamente puede valorarse como cumplida cuando se satisfacen
todos sus requerimientos (lo que ocurre en la minoría de los programas).
Aspecto susceptible de mejora:
Revisar los indicadores con apego al Manual para el diseño y construcción de indicadores,
publicado por CONEVAL.
Página 14 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
HALLAZGOS MÁS RELEVANTES
El programa evaluado tiene como propósito lograr que las “personas y grupos dedicados a la actividad
artesanal elevan su productividad y competitividad” (a partir del árbol de objetivos). El programa atiende
un problema central identificado con los siguientes términos: “personas y grupos dedicados a la
actividad artesanal con escasa productividad y competitividad” (a partir del árbol de problemas).
Para cumplir con este objetivo, el programa considera 4 componentes, cada uno de los cuales propone
obtener los siguientes resultados:
5. Empadronamiento artesanal realizado;
6. Apoyos artesanales logrados;
7. Artesanos capacitados;
8. Artesanos beneficiados con acciones de promoción y fomento.
RESULTADO GLOBAL DE LA EVALUACIÓN
El programa 185 Productividad y competitividad artesanal cumple adecuadamente con 4 preguntas, es
decir 33.33% de las 12 preguntas generales contenidas en el instrumento de evaluación diseñado por
la Jefatura de la Gubernatura, con lo que se coloca bajo el promedio de los resultados obtenidos por
los 88 programas sujetos a evaluación diagnóstica.
TEMA PREGUNTA RESP.
GLOBAL
RESPUESTAS ESPECÍFICAS
a) b) c) d) e) f) g) h) i)
ID DE PROG 1 Sí Sí Sí Sí Sí Sí Sí No - -
DIAGNÓSTICO
2 No No No No - - - - - -
3 Sí Sí Sí Sí - - - - - -
4 Sí Sí Sí - - - - - - -
5 No No - - - - - - - -
POBLACIÓN 6 Sí Sí Sí Sí - - - - - -
7 No No Sí Sí - - - - - -
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 15 de 27 Programa 185 Productividad y competitividad artesanal
TEMA PREGUNTA RESP.
GLOBAL
RESPUESTAS ESPECÍFICAS
a) b) c) d) e) f) g) h) i)
8 No No No No - - - - - -
9 No No No No - - - - - -
10 No No - - - - - - - -
MIR 11 No Sí No Sí Sí - - - - -
12 No Sí Sí Sí Sí Sí Sí Sí No No
En cuanto a los 42 aspectos específicos que se valoran en estas 12 preguntas generales, el programa
cumple en 26 casos, es decir 61.90% del total. Esto coloca al programa bajo el promedio de los
resultados obtenidos por los 88 programas evaluados.
BALANCE GENERAL
Los documentos de planeación (árboles de problemas y objetivos), aunque no son suficientes como
diagnóstico, permiten reconocer que la problemática que justifica el programa no es muy compleja. A
partir de sus componentes y actividades, el programa puede caracterizarse como sencillo, pero
adecuado para el grado de complejidad del problema, siempre y cuando se establezca de manera clara
y específica cómo se define a los beneficiarios de los bienes y servicios ofrecidos. Además, deben
especificarse los mecanismos causales que operan dentro de cada uno de los componentes orientados
al fortalecimiento institucional (capacitaciones). Reforzar la explicación de estos mecanismos causales
es otra forma de llamar a la integración de una teoría de cambio, y para ello es indispensable revisar el
diagnóstico actual. La lógica horizontal del programa es adecuada, si se asegura la validez de los
medios de verificación. Los indicadores de fin y propósito son adecuados aunque requieren revisarse
las metas y la línea base.
La población de enfoque potencial está adecuadamente descrita a partir de un indicador de INEGI
(Encuesta Nacional de Ocupación y Empleo/ número de artesanos, trabajadores fabriles y operadores
de maquinaria). Sin embargo, es necesario explicitar los criterios para definir a la población que recibirá
los beneficios del programa. Claramente es un subgrupo de la población de enfoque, pero se requiere
un método para asegurar que los recursos del programa lleguen a quienes deben estar destinados.
Otros documentos presentados (el Manual de Organización del Instituto Oaxaqueño de las Artesanías
y las reglas de operación de los programas del Fondo Nacional de Fomento a las Artesanías
Página 16 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
(FONART)) son pautas para definir los criterios de selección: hace falta desarrollarlos o mostrarlos de
forma específica.
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 17 de 27 Programa 185 Productividad y competitividad artesanal
PRINCIPALES FORTALEZAS, OPORTUNIDADES,
DEBILIDADES Y AMENAZAS
A continuación, se exponen las fortalezas, oportunidades, debilidades y amenazas detectadas a partir
de la evaluación diagnóstica del programa 185 Productividad y competitividad artesanal, a cargo de
Instituto Oaxaqueño de las Artesanías.
I. IDENTIFICACIÓN DEL PROGRAMA Y ALINEACIÓN A LOS OBJETIVOS DEL PED 2016-2022
FORTALEZAS
DESCRIPCIÓN Adecuada
REFERENCIA Pregunta 1
RECOMENDACIÓN Asegurar que no existen evaluaciones previas a la institución o programa.
OPORTUNIDADES
DESCRIPCIÓN Existen complementariedades y recursos comunes con otras instuciones estatales y a nivel federal
REFERENCIA Pregunta 1
RECOMENDACIÓN Identificar estos puntos comunes para fortalecer los elementos del programa, comenzando por su base documental
DEBILIDADES
DESCRIPCIÓN Ver comentarios en sección de fortalezas
REFERENCIA Pregunta 1
RECOMENDACIÓN Ninguno
AMENAZAS
DESCRIPCIÓN Perder oportunidades de coordinación con otros programas e instituciones.
REFERENCIA Pregunta 1
RECOMENDACIÓN Buscar complementariedades con otras dependencias del Estado: objetivos comunes, recursos aprovechables (información, implementación).
DESCRIPCIÓN Identificación tardía de evaluaciones previas que no han sido consideradas por la unidad responsable.
Página 18 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
AMENAZAS
REFERENCIA Pregunta 1
RECOMENDACIÓN Integrar un expediente administrativo completo y publicarlo.
II. DIAGNÓSTICO
FORTALEZAS
DESCRIPCIÓN Ver observaciones sobre debilidades, amenazas y oportunidades
REFERENCIA Pregunta 2 a 5
OPORTUNIDADES
DESCRIPCIÓN
A pesar de que el diagnóstico no cumple con criterios básicos, la naturaleza del programa sugiere que se puede incursionar en la elaboración de un diagnóstico, quizá durante la implementación misma, si se documenta adecuadamente.
REFERENCIA Preguntas 2 a 5
RECOMENDACIÓN
Fortalecer el diagnóstico del problema aún durante la implementación, comenzando con la documentación adecuada de expectativas y resultados (de forma separada a los resultados auditables). Cada programa debe servir al propósito de reforzar la memoria institucional del Estado.
DEBILIDADES
DESCRIPCIÓN
El diagnóstico no logra describir con mejor detalle la cadena causal representada en el árbol de problemas y de objetivos (más la selección de objetivos). Dichos árboles son representaciones verosímiles de problemas y soluciones y son suficientes para justificar la MIR en este momento. Pero no reflejan con claridad una teoría de cambio, elemento con el cual se consolidaría la lógica vertical (y horizontal) del programa.
REFERENCIA Diagnóstico Árbol de problemas
RECOMENDACIÓN
Revisar la congruencia entre el diagnóstico y los árboles de problemas y objetivos. Se recomienda explicitar una relación causal que derive de una teoría de cambio.
AMENAZAS
DESCRIPCIÓN
Eventuales señalamientos por observadores externos o grupos políticos a supuestas debilidades en el planteamiento del problema y configuración del programa.
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 19 de 27 Programa 185 Productividad y competitividad artesanal
AMENAZAS
REFERENCIA Preguntas 2 a 4 (con sus incisos) y 5
RECOMENDACIÓN Fortalecer el diagnóstico del problema, utilizando recursos que seguramente ya existen a nivel estatal y federal.
III. POBLACIÓN O ÁREA DE ENFOQUE POTENCIAL Y OBJETIVO
FORTALEZAS
DESCRIPCIÓN Existe una descripción de la población potencial
REFERENCIA Preguntas 6 a a10
RECOMENDACIÓN Ver observaciones sobre debilidades, amenazas y oportunidades
OPORTUNIDADES
DESCRIPCIÓN La problemática que da origen a este programa puede beneficiarse de aproximaciones diferenciadas.
REFERENCIA Preguntas 6 a 10
RECOMENDACIÓN
Identificar y utilizar todos los recursos pertinentes para dar diferenciación a las poblaciones atendidas por este programa, especialmente las poblaciones indígenas.
DEBILIDADES
DESCRIPCIÓN
La población de enfoque potencial está adecuadamente descrita a partir de un indicador de INEGI (Encuesta Nacional de Ocupación y Empleo/ número de artesanos, trabajadores fabriles y operadores de maquinaria).
REFERENCIA -
RECOMENDACIÓN
Sin embargo, es necesario explicitar los criterios para definir a la población que recibirá los beneficios del programa. Claramente es un subgrupo de la población de enfoque, pero se requiere un método para asegurar que los recursos del programa lleguen a quienes deben estar destinados. Otros documentos presentados (el Manual de Organización del Instituto Oaxaqueño de las Artesanías y las reglas de operación de los programas del Fondo Nacional de Fomento a las Artesanías (FONART)) son pautas para definir los criterios de selección: hace falta desarrollarlos o mostrarlos de forma específica.
DESCRIPCIÓN No están diferenciadas las actividades dirigidas a poblaciones indígenas.
REFERENCIA Pregunta 8 y 9
RECOMENDACIÓN
Es necesario diferenciar o hacer lugar específico a las acciones dirigidas para las poblaciones indígenas, pues el PED las contempla (página 176 y siguientes).
Página 20 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
AMENAZAS
DESCRIPCIÓN Cuestionamientos constructivos y no constructivos sobre sesgos en la aplicación de los recursos del programa.
REFERENCIA Preguntas 6 a 9 (cada una con sus incisos) y 10
RECOMENDACIÓN Definir y publicar las reglas para determinar la población potencial y objetivo. Definir y publicar los padrones de beneficiarios, cuando sea el caso.
IV. MATRIZ DE INDICADORES PARA RESULTADOS (MIR)
FORTALEZAS
DESCRIPCIÓN La definición de fin y propósito es una de las fortalezas de la matriz de indicadores en este programa.
REFERENCIA MIR 2018
RECOMENDACIÓN
Sin embargo, los componentes y las actividades pueden realinearse, porque tal como están reflejan un conjunto de acciones paralelas cuando probablemente algunas pueden organizarse como procesos (empadronar, otorgar beneficios de diferente naturaleza, promover). El empadronamiento de artesanos puede constituir una actividad importante pero no es un componente porque no representa un beneficio directo hacia los destinatarios de esa actividad. Se recomienda que dicho componente se redefina como actividad.
DESCRIPCIÓN
El Fin, definido con dos indicadores, está relacionado con un objetivo amplio de desarrollo económico (PIB y posición en el índice de competitividad del IMCO), y el propósito es medible y refleja concretamente el objetivo del programa (elevar la productividad y competitividad de los artesanos).
REFERENCIA Árbol de problemas MIR 2018
RECOMENDACIÓN
La caracterización de problemas y objetivos es suficientemente sólida y permitirá realinear algunos indicadores para reflejar una lógica vertical más sólida. En primer lugar, corrigiendo la lógica circular que, ahora, plantea los problemas como carencia de las soluciones.
OPORTUNIDADES
DESCRIPCIÓN Esta evaluación se apega a la metodología de marco lógico y la documentación que al respecto han publicado la SHCP federal y el CONEVAL.
REFERENCIA Preguntas 11 y 12 (con sus incisos)
RECOMENDACIÓN
Atender estas observaciones a partir de las guías metodológicas de la SCHP sobre la metodología de marco lógico, construcción de MIR y construcción de indicadores.
DEBILIDADES
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 21 de 27 Programa 185 Productividad y competitividad artesanal
DESCRIPCIÓN
El programa ofrece apoyos económicos, vinculación (nodalidad), capacitación. Los componentes parecen estar organizados a partir de esos tipos de actividad o instrumentos de política. Aunque se estima que es una organización adecuada, quizá puede mejorarse la alineación de la MIR con los árboles de problemas y objetivos por medio de una organización diferente, donde cada componente refleje un bien o servicio otorgado con procesos que atraviesen los componentes de vinculación (nodalidad), capacitación, apoyos económicos, como procesos: porque esa es la relación de causalidad que parece más verosímil.
REFERENCIA MIR 2018
RECOMENDACIÓN
La definición de componentes y actividades requiere una revisión profunda. Tanto en lo que concierne a la claridad (especificar qué producto o actividad están describiendo) como a su lugar dentro de un proceso (una concatenación de actividades con criterios de calidad en el cumplimiento de cada fase). En otras palabras, la revisión requiere replantear actividades, componentes y su concatenación. No parece que sea necesario replantear los procesos institucionales existentes, pues la documentación refleja que son sólidos y efectivos.
DESCRIPCIÓN Algunos indicadores no tienen medios de verificación adecuados.
REFERENCIA MIR 2018
RECOMENDACIÓN
Los medios de verificación deben ser documentos publicados o publicables: con formato uniforme, para permitir la corroboración de resultados por un tercero.
DESCRIPCIÓN El indicador de componente 1 parece en realidadestar al mismo nivel que las actividades.
REFERENCIA MIR 2018
RECOMENDACIÓN
Se sugiere explicitar cada una de las actividades de este componente como proceso (hitos, criterios de calidad) y convertirlas en componentes, porque sí entregan un producto relacionado con la cadena causal identificada en otros documentos y que condiciona el acceso a otros beneficios del programa (vinculación, apoyos). Con la salvedad de la base de datos, que parece más una actividad interna.
AMENAZAS
DESCRIPCIÓN
Cuestionamientos constructivos y no constructivos sobre la capacidad del programa para dar resultados verificables y efectivos en la solución del problema que lo justifica.
REFERENCIA Preguntas 11 y 12 (con sus incisos)
RECOMENDACIÓN Corregir las omisiones e inconsistencias detectados para fortalecer el diseño del programa y la transparencia de su información.
Página 22 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
CONCLUSIONES
De la evaluación de diagnóstico al programa 185 Productividad y competitividad artesanal, a cargo de
Instituto Oaxaqueño de las Artesanías encontramos que cumple adecuadamente con 4 preguntas, es
decir 33.33% de las 12 preguntas generales contenidas en el instrumento de evaluación, con lo que se
coloca bajo el promedio de los resultados obtenidos por los 88 sujetos a evaluación diagnóstica.
En cuanto a los 42 aspectos específicos que se valoran en estas 12 preguntas generales, el programa
cumple en 26 casos, es decir 61.90% del total. Esto coloca al programa bajo el promedio de los
resultados obtenidos por los 88 programas evaluados.
Este resultado se debe en mayor medida a que el diagnóstico no cumple con los criterios requeridos
por la herramienta de evaluación y a que es necesario integrar mecanismos para atender de manera
especial a las poblaciones indígenas, tal como lo contempla el Plan Estatal de Desarrollo 2016-2022.
Entre otras ventanas de oportunidad del programa cabe resaltar la necesidad de dar claridad a la
relación lógica que subordina a las actividades dentro de sus componentes. Ello requiere, como se ha
observado para muchos otros programas, expandir la explicación de los procesos del programa y
revelar los mecanismos por los cuáles se espera obtener los objetivos planteados en los documentos
de planeación.
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 23 de 27 Programa 185 Productividad y competitividad artesanal
BIBLIOGRAFÍA
Documentos del programa presupuestario evaluado
Antecedentes
Árbol de problemas
Árbol de Objetivos
Diagnóstico
Ficha del Programa 2018
Formato de Selección de Alternativas
Identificación del área de enfoque o población
Impulso a la economía y zonas económicas especiales
Manual de Organización del Instituto Oaxaqueño de las Artesanías y las reglas de operación de los
programas del Fondo Nacional de Fomento a las Artesanías (FONART)
Matriz de Indicadores de Resultados 2018
Plan Estatal de Desarrollo (2016-2022)
Guías metodológicas
Consejo Nacional de Evaluación de la Política de desarrollo Social, “Elementos mínimos a considerar
en la elaboración de diagnósticos de programas nuevos” [s.l.] [s.f.].
[http://www.coneval.org.mx/Informes/Evaluacion/Impacto/Diagnostico_Programas_Nuevos.pdf]
Consejo Nacional de Evaluación de la Política de desarrollo Social, Guía para la Elaboración de la
Matriz de Indicadores para Resultados, México, D.F., CONEVAL, 2013.
http://www.coneval.org.mx/Informes/Coordinacion/Publicaciones%20oficiales/GUIA_PARA_LA_ELAB
ORACION_DE_MATRIZ_DE_INDICADORES.pdf
Consejo Nacional de Evaluación de la Política de Desarrollo Social, Guía básica para vincular la Matriz
de Indicadores para Resultados y las Reglas de Operación de los programas de desarrollo social,
México, D.F., CONEVAL [s.f.].
Página 24 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
https://www.coneval.org.mx/coordinacion/Documents/monitoreo/metodologia/Vinculaci%C3%B3n%20
MIR-ROP.pdf
Consejo Nacional de Evaluación de la Política de Desarrollo Social, Manual para el Diseño y la
Construcción de Indicadores. Instrumentos principales para el monitoreo de programas sociales de
México, México, D.F., CONEVAL, 2013.
http://www.coneval.org.mx/Informes/Coordinacion/Publicaciones%20oficiales/MANUAL_PARA_EL_DI
SENO_Y_CONTRUCCION_DE_INDICADORES.pdf
Consejo Nacional de Evaluación de la Política de Desarrollo Social, Metodología para la aprobación de
indicadores de los programas sociales, México, D.F., CONEVAL, 2014.
http://www.coneval.org.mx/Informes/Coordinacion/Publicaciones%20oficiales/METODOLOGIA_APRO
BACION_DE_INDICADORES.pdf
Secretaría de Hacienda y Crédito Público, Subsecretaría de Egresos, Unidad de Evaluación del
Desempeño, Criterios para el registro, revisión y actualización, de la Matriz de Indicadores para
Resultados y la Ficha de Indicadores del Desempeño de los programas presupuestarios para el
ejercicio fiscal 2017 (oficio núm. 419-A-16-0867), Ciudad de México, 14 de julio de 2016.
[https://www.gob.mx/cms/uploads/attachment/file/154326/Criterios_MIR_2017.pdf]
Secretaría de Hacienda y Crédito Público, Subsecretaría de Egresos, Unidad de Evaluación del
Desempeño, Criterios para el registro y actualización, de la Matriz de Indicadores para Resultados de
los Programas presupuestarios para el Ejercicio Fiscal 2018 (oficio núm. 419-A-17-0609), Ciudad de
México, 30 de junio de 2017
[https://www.gob.mx/cms/uploads/attachment/file/154326/Criterios_MIR_2017.pdf]
Secretaría de Hacienda y Crédito Público, Guía para el diseño de la Matriz de Indicadores para
Resultados, 14 de octubre de 2016.
[https://www.gob.mx/cms/uploads/attachment/file/154437/Guia_MIR.pdf]
Secretaría de Hacienda y Crédito Público, Guía para el diseño de indicadores estratégicos, [s.l.], [s.f.].
[https://www.gob.mx/cms/uploads/attachment/file/154446/Guia_Indicadores.pdf]
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 25 de 27 Programa 185 Productividad y competitividad artesanal
Legislación
Ley General de Desarrollo Social.
Ley Federal de Presupuesto y Responsabilidad Hacendaria.
Página 26 de 27 INFORME DE EVALUACIÓN DIAGNÓSTICA Programa 185 Productividad y Competitividad Artesanal
ANEXO 1 Bitácora de información
185 PRODUCTIVIDAD Y COMPETITIVIDAD ARTESANAL
UR RESPONSABLE: INSTITUTO OAXAQUENO DE LAS ARTESANÍAS
No. Documento que se solicita
Recepción
de
material
para el
tema
Nombre del documento
recibido Observaciones
1 Ficha del programa presupuestarioFICHA DEL PROGRAMA 185 PRODUCTIVIDAD
Y COMPETITIVIDAD ARTESANAL.pdf
ok
2 Documento que dé cuenta de los
antecedentes y características del
programa (fecha de inicio, rediseño,
fusión de programas, etc.).
MIR 2017.pdf
ok
3 Programas sectoriales, especiales,
institucionales y/o similares
relacionados con el programa a
evaluar.
VERSION PRELIMINAR DEL PLAN
ESTRATEGICO SECTORIAL.docx
ok
4 Diagnóstico y justificación del
programa DIAGNOSTICO SECTOR ECONOMICO.pdf
El diagnóstico no es
adecuado para este
sector.
5 Árbol de problemas ARBOL DE PROBLEMAS PROGRAMA 185
PRODUCTIVIDAD Y COMPETITIVIDAD
ARTESANAL.pdf
ok
6 Árbol de objetivos ARBOL DE OBJETIVO PROGRAMA 185
PRODUCTIVIDAD Y COMPETITIVIDAD
ARTESANAL.pdf
ok
7 Selección de alternativas
SELECCIÓN DE ALTERNATIVAS.pdf
ok
8 Matriz de Indicadores para
Resultados MIR PROGRAMA 185 PRODUCTIVIDAD Y
COMPETITIVIDAD ARTESANAL.xlsx
ok
9 Documentos sobre la identificación,
caracterización y bases de datos
referentes a las áreas de enfoque o
población (potencial, objetivo y
atendida)
IDENTIFICACION DEL AREA DE ENFOQUE O
POBLACION PROGRAMA 185.pdf
ok
10 Reglas de operación o documento
que detalle la distribución de
funciones operativas en la
implementación del programa.
Manual de Organizacion IOA.pdf
reglas_operacion_FONART_2017.pdf
ok
11 Documentos sobre el monitoreo de
indicadores AVANCE DE GESTION 3ER TRIMESTRE
2017.pdf
ok
12 Reportes de evaluaciones previas
PROGRAMA:
Evaluación Diagnóstica Plan Anual de Evaluación 2017 del Gobierno del Estado de Oaxaca
Bitácora electrónica de información
INFORME DE EVALUACIÓN DIAGNÓSTICA Página 27 de 27 Programa 185 Productividad y competitividad artesanal
ANEXO 2
Datos de la instancia evaluadora
Nombre y tipo de evaluación EVALUACIÓN DIAGNÓSTICA PROGRAMA 185 PRODUCTIVIDAD Y COMPETITIVIDAD ARTESANAL
Nombre de la instancia evaluadora ExploraMetrics
Nombre del coordinador de la evaluación Claudia Maldonado Trujillo
Armando Orduña Espinosa
Nombres de los principales colaboradores
de la evaluación
Gabriela Trujillo Mendía
José Hernández Martínez
Rafael Aguirre Ponce
Heber Grajeda Barranco
Mariel Flores Bautista
Nombre de la Unidad Administrativa
responsable del seguimiento a la evaluación Jefatura de la Gubernatura
Nombre del Titular de la Unidad
Administrativa responsable de dar
seguimiento a la Evaluación
Vicente Mendoza Téllez Girón