LA EVALUACION EX�ANTE DEL PROGRAMA OPERATIVO PARA EL EMPLEO JUVENIL
PERIODO 2014-2020 (FONDO SOCIAL EUROPEO)
Coordinador: Ignacio Moral Arce (IEF) Autores: Ignacio Moral Arce
Adrián Hernández Javier Martín
Milagros Paniagua Teresa Pérez Elena Pradell
Leila Rodríguez Cristian Rodríguez
Instituto de Estudios Fiscales
DOC. n.o 3/2015
Con la colaboración de: Maribel Martínez (Abay Analistas).
N. I. P. O.: 634-15-003-0
N. B.: Las opiniones expresadas en este documento son de la exclusiva responsabilidad de los autores, pudiendo no coincidir con las del Instituto de Estudios Fiscales.
Edita: Instituto de Estudios Fiscales I. S. S. N.: 1578-0244 Depósito Legal: M-23771-2001
ÍNDICE
CAPITULO I. INTRODUCCIÓN
CAPÍTULO II. ESTRATEGIA2.1. ANÁLISIS DE DIAGNÓSTICO SOCIOECONÓMICO, ANÁLISIS DAFO
2.1.1. Análisis del Diagnostico DAFO2.1.2. Lecciones aprendidas
2.2. LA LÓGICA DE LA INTERVENCIÓN2.2.1. Pertinencia del Programa2.2.2. Análisis de coherencia externa2.2.3. Análisis de coherencia interna2.2.4. Análisis de la incorporación de las prioridades horizontales
CAPÍTULO III. INDICADORES, SEGUIMIENTO Y EVALUACIÓN3.1. ANÁLISIS TEÓRICO DEL SISTEMA DE INDICADORES PROPUESTO3.2. ANÁLISIS DE LOS OBJETIVOS FINALES PROPUESTOS
3.2.1. Análisis de los hitos seleccionados para el Marco de Rendimiento3.3. ANÁLISIS DE PROCEDIMIENTO DE SEGUIMIENTO DEL PROGRAMA, PROCESOS DE
RECOGIDA DE DATOS Y EVALUACIÓN.
CAPÍTULO IV. ASIGNACIONES FINANCIERAS4.1. ANÁLISIS DE LA DISTRIBUCIÓN FINANCIERA4.2. COHERENCIA DE LAS ASIGNACIONES FINANCIERAS EN FUNCIÓN DE LAS DEBILI
DADES4.3. COHERENCIA DE LAS ASIGNACIONES FINANCIERAS: ANÁLISIS SEGÚN AMENAZAS
CAPÍTULO V. GOBERNANZA5.1. INTRODUCCIÓN5.2. EVALUACIÓN DE LA GOBERNANZA: ANÁLISIS DE BUENAS PRÁCTICAS5.3. EVALUACIÓN DE LOS RR.HH. Y DE LA CAPACIDAD ADMINISTRATIVA5.4. COMUNICACIÓN Y COORDINACIÓN. LA APLICACIÓN DEL PRINCIPIO DE PARTENA-
RIADO5.5. RESUMEN DE EVALUACIÓN DE GOBERNANZA
CAPÍTULO VI. PRINCIPALES CONCLUSIONES DE LA EVALUACIÓN EX ANTE DEL POEJ6.1. INTRODUCCIÓN6.2. ESTRATEGIA DE ACTUACIÓN6.3. INDICADORES, SEGUIMIENTO Y EVALUACIÓN6.4. ASIGNACIONES FINANCIERAS6.5. GOBERNANZA6.6. CONCLUSIONES
— 3 —
Instituto de Estudios Fiscales
CAPÍTULO I. INTRODUCCIÓN
Mediante la evaluación ex ante del Programa Operativo de Empleo Juvenil (POEJ) se pretende reforzar la importancia que tiene un diseño correcto del programa y que presente un claro enfoque centrado en aquellos resultados que se quieren alcanzar con esta intervención, mejorando la calidad de las actuaciones, y obteniendo de este modo intervenciones más eficaces, ya que este tipo de análisis pretenden fundamentalmente optimizar y priorizar la distribución de los recursos financieros disponibles por el programa operativo y aumentar de este modo la efectividad y calidad de la intervención. Además, otra de las ventajas que tiene el desarrollar este tipo de evaluaciones es que permite la realización de un ejercicio de transparencia, mediante una rendición de cuenta a la sociedad.La evaluación ex ante del POEJ se ha desarrollado por parte del Instituto de Estudios Fiscales (IEF1), organismo autónomo del Ministerio de Hacienda y Administraciones Públicas, que realiza, entre otros, trabajos de evaluación de políticas públicas.Para analizar la importancia y adecuación del Programa Operativo(P.O.) es necesario estudiar un conjunto de elementos que van desde el análisis del contexto donde se encuentra enclavada esta intervención pública, las necesidades existentes, asignaciones financieras para los distintos objetivos, la eficacia de las acciones, la revisión de los sistemas de información que permitirán observar la evolución en la implementación del programa, y, finalmente, los posibles resultados que se pretende lograr con esta intervención pública. Por este motivo, a lo largo del presente documento se analizará la estrategia del P.O., con su contribución a la estrategia de la Unión EU2020, la coherencia interna y externa de las acciones programadas y los objetivos buscados. Posteriormente se valore sistema de indicadores y de seguimiento, estudiando la pertinencia, claridad, valores propuestos y las relaciones de causalidad existente entre ellos. A continuación se evalúan las asignaciones financieras, para finalizar con el estudio de gobernanza y reducción de cargas administrativas, junto con un análisis de las medidas previstas para promover la igualdad entre hombre y mujer, prevenir cualquier tipo de discriminación y la adecuación para fomentar un desarrollo sostenible.
CAPÍTULO II. ESTRATEGIA
De cara a poder realizar una correcta valoración de la estrategia planteada por el equipo de programación de la Unidad Administradora del Fondo Social (UAFSE) del POEJ, el equipo evaluador ha de conocer el contexto en el que se encuentran los jóvenes en España, así como las medidas encaminadas a paliar las debilidades más acuciantes y que justifican plenamente la intervención. Dichas medidas se presentan a partir de una estructura de Ejes Prioritarios y sus Objetivos Específicos asociados.
A partir de las aportaciones iniciales que el equipo evaluador proporcionó a la UAFSE, se puede ver en la siguiente. Tabla la versión definitiva del análisis de Debilidades, Amenazas, Fortalezas y Oportunidades, más conocido como DAFO que finalmente terminó por incluirse en un Anexo del POEJ:
Tabla 2.1Análisis DAFO sobre el contexto del POEJ
Debilidades Fortalezas— La tasa de desempleo actual (en 2013, jóvenes de 16 a 19 — La recuperación del consumo interno y el
años: 74,3% y jóvenes de 20 a 24 años: 51,9%) es altísi auge del sector turístico favorecerá la ma y ha alcanzado estos niveles a pesar de la caída de la creación de empleo en algunos de los sectasa de actividad. Además la tasa de desempleo juvenil tores que más empleo juvenil femenino duplica a la de la población en general. han destruido (comercio y hostelería)
— El empleo juvenil destruido en el caso de los hombres — Reconocimiento por parte de las personas procede fundamentalmente de la construcción jóvenes de la importancia de la educación (506.000) y de la industria manufacturera (291.000). En y formación. La escasez de oportunidades el caso de las mujeres, procede fundamentalmente del laborales de la población más joven ha sector servicios (682.000) propiciado un retorno a la formación y una
disminución del abandono escolar.
(Sigue)
1 http://www.ief.es
— 5 —
Continúa)
Debilidades FortalezasLa destrucción de empleo juvenil se ha centrado en los trabajadores con menores niveles de educación reglada, lo que puede dificultar su reorientación profesional Las condiciones de trabajo del empleo juvenil son muy precariasImportante proporción de desempleo de larga y muy larga duraciónBajo conocimiento de idiomas extranjeros
—
—
Importancia de la familia como red social y de apoyo al desempleo juvenilMejores niveles en competencias transversales que el resto de la población activa (uso de las tecnologías, adaptación al cambio, trabajo en equipo, etc.) y mayor predisposición a la movilidad laboral tanto nacional como internacional.
Escaso peso relativo de la Formación Profesional de grado medio, y en general de todos los niveles formati- vos medios.Importante número de jóvenes que en la actualidad no estudia ni trabaja
— Las diferencias de género en relación con el mercado de trabajo se están reduciendo de forma sostenida aunque la posición de las mujeres sigue siendo desfavorable en casi todos los indicadores
En el colectivo “ni-ni” hay principalmente jóvenes de niveles de estudios bajos, aunque la problemática afecta a jóvenes con todos los niveles educativos. Por ejemplo, los universitarios tienen una presencia significativa, especialmente en el caso de las mujeres.Los jóvenes con menores niveles de educación son los que menos se forman. Necesidad de políticas muy proactivas (“ir a buscarles”)Elevadas tasas de abandono escolar, que doblan los valores de la UE-27Escasa iniciativa emprendedora y bajos niveles de autoempleo juvenil.
Amenazas OportunidadesDinámicas sectoriales poco consolidadas que no permi — Elevada sensibilidad social con el problete identificar qué ramas van a tomar el relevo en la ma del desempleo juvenil y predisposición creación de empleo, especialmente en el caso del empleo de media y baja cualificación
de los actores relevantes a participar en la búsqueda de soluciones
Emigración de los jóvenes con mayores niveles de — Emprendimiento de alta cualificación. cualificación y mejores competencias transversales Posibilidades de canalizar a los jóvenes (idiomas, iniciativa, etc.) más cualificados a un emprendimiento por El desempleo de larga y muy larga duración puede aumentar las tasas de inactividad (“desánimo”) y des
oportunidad (buenos niveles de cualificación y mercado atractivo)
cualificar a la población juvenil a medio plazo con la — El retorno de una parte de los jóvenes consiguiente pérdida de capital humano y potencial económico. El riesgo es mayor en el caso de las muje
emigrados, que habrán adquirido nuevas competencias en el extranjero
res que decidan renunciar a su carrera profesional para atender las necesidades de personas dependientes a su cargo (hijos, personas con discapacidad, personas mayores)Alta importancia del “emprendimiento por necesidad”
— El envejecimiento de la población española favorecerá el relevo generacional
— Oportunidades de emprendimiento ligadas a las TIC y la SI con inversiones pequeñas y posibilidad de acceso a los mercados in
Sesgo hacia el empleo “autónomo dependiente” ternacionalesLas políticas de apoyo al emprendimiento están muy — Desarrollo de nuevos puestos de trabajo centradas en las fases iniciales del emprendimiento y en sectores tales como la economía social, no en la fase de consolidación (refuerzas las tres ame el medio rural y el sector servicios. Y tamnazas anteriores) bién en otros más novedosos: el empleo Las bajas remuneraciones del trabajo asalariado puede desincentivar la búsqueda de empleo por cuenta ajena
verde, la economía baja en carbono o la economía marina y marítima
El tejido productivo español actual no absorbe la demanda de empleo juvenil de cualquier nivel de cualifi
— Desarrollo de las opciones laborales ligadas a la economía social y el autoempleo
cación
— 6 —
Instituto de Estudios Fiscales
La estrategia del POEJ se puede simplificar en los siguientes 3 Ejes Prioritarios:
— Eje prioritario 1 (dividido para 3 tipos de Regiones dependiendo del nivel de cofinanciación): Fomento del Empleo sostenible y de calidad y de la movilidad laboral, con dos Prioridades de Inversión:
- Prioridad de Inversión 8.2: Integración sostenible en el mercado de trabajo de los jóvenes, en particular aquellos sin trabajo y no integrados en los sistemas de educación y formación y los que están en situación de riesgo y sufrir exclusión social y procedentes de comunidades marginadas, que tiene 4 Objetivos Específicos.
- Objetivo Especifico 8.2.1.: Mejorar la activación temprana y perfeccionar los procesos de intermediación y movilidad laboral de las personas jóvenes, en particular de aquellas no ocupadas y no integradas en los sistemas de educación o formación, así como los jóvenes que corren el riesgo de sufrir exclusión social y quienes proceden de comunidades marginadas, teniendo en cuenta en todo momento las distintas situaciones y necesidades de mujeres y hombres
- Objetivo Especifico 8.2.2.: Mejorar las aptitudes y competencias profesionales de las personas, en particular de aquellas no ocupadas y no integradas en los sistemas de educación o formación, así como los jóvenes que corren el riesgo de sufrir excusión social y quienes proceden de comunidades marginadas incorporando en todo momento la perspectiva de género y fomentando la igualdad de oportunidades, con el fin de reforzar su empleabilidad
- Objetivo Especifico 8.2.3.: Apoyar el espíritu emprendedor fomentando la responsabilidad, innovación y emprendimiento de las personas jóvenes, en particular de quienes no están ocupadas ni están integradas en los sistemas de educación o formación, así como aquellas que corren el riesgo de sufrir exclusión social y quienes proceden de comunidades marginadas, desde un análisis que integre las diferentes necesidades y situaciones de mujeres y hombres
- Objetivo Especifico 8.2.4.: Incentivar la contratación, teniendo en cuenta la perspectiva de género, de las personas jóvenes, en particular de quienes no están ocupadas ni están integradas en los sistemas de educación o formación, así como de las que corren el riesgo de sufrir exclusión social y quienes proceden de comunidades marginadas
- Prioridad de Inversión 8.7:La modernización de las instituciones del mercado de trabajo, como los servicios de empleo públicos y privados y la mejora de la respuesta a las necesidades del mercado laboral, también a través de medidas que aumenten la movilidad laboral y una mejor cooperación entre instituciones y partes interesadas correspondientes. Tiene un Objetivo Específico.
- Objetivo Especifico 8.7.1: Mejorar la calidad y respuesta de las instituciones del mercado de trabajo y su coordinación en el ámbito nacional y autonómico a través de su modernización, incluyendo la creación de las estructuras necesarias para la implantación de los sistemas de Garantía Juvenil
— Eje prioritario 5: Integración sostenible en el mercado de trabajo de las personas jóvenes que no se encuentran empleadas, ni participan en actividades de educación ni formación, en particular en el contexto de Garantía Juvenil. Tiene una Prioridad de Inversión.
- Prioridad de Inversión 8.2: Definida como la anterior y a través de la aplicación de la garantía juvenil, que tiene 4 Objetivos Específicos.
- Objetivo Específico 8.2.1.: ya definida previamente.
- Objetivo Específico 8.2.2.: ya definida con anterioridad
- Objetivo Específico 8.2.3.: descrita previamente.
- Objetivo Específico 8.2.4.: detallada anteriormente.
— Eje Prioritario 8 (dividido para 3 tipos de regiones dependiendo de nivel de cofinanciación): Asistencia Técnica. Con tres Objetivos Específicos:
— 7 —
- Objetivo Especifico 1: Preparación, ejecución, seguimiento y control.
- Objetivo Especifico 2: Evaluación y estudios.
- Objetivo Especifico 3: Información y comunicación.
Una vez presentado el análisis DAFO y el esquema de la estrategia propuesta por el equipo de programación, a continuación se pasa valorar en esta sección, inicialmente el diagnóstico realizado, para con posterioridad la lógica de la intervención.
2.1. Análisis de diagnóstico socioeconómico, análisis DAFO
A continuación se realiza un análisis del diagnóstico elaborado por el equipo de programación en la estrategia del PO. Por lo tanto, esa sección será, ante todo, de tipo documental, y constará de:
— Análisis del diagnóstico elaborado por el redactor del Programa Operativo; (y del análisis DAFO).
— Identificación de las limitaciones y necesidades emergentes de las evaluaciones de los programas en los períodos de programación precedentes, así como lecciones aprendidas, y valoración de la detección de estos problemas por parte del equipo de programación.
2.1.1. Análisis del Diagnostico DAFO
Aunque el Reglamento no establece como obligatorio la realización de un análisis DAFO para los programas operativos, el equipo evaluador considera que es muy recomendable la creación de éste, porque se trata de una herramienta analítica que contribuye al pensamiento estratégico, y permite ayudar a la unidad de programación a encontrar sus factores estratégicos críticos, para una vez identificados, usarlos y apoyar en ellos los cambios, tanto a nivel organizativo como en las posibles acciones en periodos futuros: consolidando las fortalezas, minimizando las debilidades, aprovechando las ventajas de las oportunidades, y eliminando o reduciendo las amenazas.Unido a lo indicado previamente, la incorporación de un DAFO facilitará el análisis de la consistencia de los objetivos del programa que se realizará con posterioridad.
Una vez que el equipo evaluador dispone de un análisis DAFO, en esta sección se incluirán los elementos siguientes:
— Análisis de la calidad y consistencia del diagnóstico y el análisis DAFO tanto a nivel global transnacional correspondiente a las orientaciones de la Estrategia 2020;
— Dictamen (incluyendo recomendaciones) sobre deficiencias o debilidades potenciales en la elaboración del diagnóstico y el análisis DAFO.
Desde el equipo evaluador se considera que, a pesar del solido análisis de contexto presentado por el equipo programador, podría resultar conveniente profundizar en este análisis, realizando un estudio más detallado de la situación actual, la evolución temporal y las principales características a destacar. Este estudio en profundidad permitiría tener una visión completa de las necesidades y fortalezas existentes.
Finalmente, examinando el anexo del PO remitido por parte del equipo de programación, que ha tenido en consideración la mayoría de propuestas para la realización del DAFO propuestas por parte del equipo evaluador en versiones anteriores de la evaluación ex ante, y con el objetivo de tener una visión más minuciosa de la situación inicial, el equipo evaluador considera que el análisis DAFO presentado es completo y refleja correctamente las principales características donde se enclava el POEJ.
2.1.2. Lecciones aprendidas
Como se indica en el artículo 55, 3. a) del Reglamento de Disposiciones Comunes, en este apartado se valorarán las lecciones aprendidas en períodos anteriores por parte del equipo programador, apreciando cómo se han ido incorporando de los programas precedentes, y de qué modo se han integrado las cuestiones emergentes, como por ejemplo, la crisis económica, a las que se enfrenta España desde finales de 2007. Además, es recomendable que por parte del equipo programador se realice un
— 8 —
Instituto de Estudios Fiscales
ejercicio de reflexión encaminado a conocer los objetivos alcanzados en el periodo anterior de programación, para definir de forma exacta las buenas prácticas observadas y extenderlas al P.O. actual, junto a la detección de las carencias que han quedado pendientes de satisfacer y los problemas observados analizando las causas que los generaron y las posibles acciones para solucionarlos.
El balance del periodo de programación 2007-2013 efectuado en la evaluación ex-ante incluye observaciones concernientes al ámbito de actuación y la contribución del Fondo Social Europeo a la nueva situación socioeconómica, a través de los ejes diseñados en el POEJ. En esta fase de la evaluación exante:
— Se identifican las conclusiones y recomendaciones ofrecidas por la Evaluación Intermedia y sus sucesivas actualizaciones, de los PO 2007-2013 y su grado de incorporación a los nuevos programas.
— Se realiza un balance de los resultados socioeconómicos y laborales alcanzados a través de los programas operativos, teniendo en cuenta los datos de ejecución física y financiera ofrecidos por algunos de los últimos informes anuales de ejecución. Además, se detectan los posibles problemas de ejecución basándose en la información sobre los aspectos que resultaron problemáticos o de insuficiente implementación en el pasado.
El primer hecho a destacar es que en el periodo de programación 2007-2013 había una situación muy distinta a la existente en el periodo 2000-2006 caracterizado por un crecimiento y dinamismo empresarial, íntimamente relacionado a la buena coyuntura económica de España, de reducción del nivel de desempleo en el mercado laboral, aumento de la tasa de actividad y empleo, cambio demográfico con el elemento característico del progresivo envejecimiento poblacional compensado un poco por la entrada de la población inmigrante en edad de trabajar. El contexto económico era bastante favorable para la economía española con altas tasas anuales de creación de empleo. Sin embargo, la actual crisis económica surgida en 2008, al inicio del periodo de programación, ha generado unos efectos devastadores para el empleo, especialmente entre el grupo de personas menores de 25 años, provocando que éste sea un fenómeno especialmente destacable al que se debe prestar gran importancia. Por lo anteriormente mencionado, no es posible encontrar actuaciones y antecedentes que se diseñaran al inicio del periodo de programación 2007-2013 que se refieran exclusivamente a la población de jóvenes de manera específica o separada del resto. Más bien, este grupo de población estaba referido a objetivos de empleo en general.
No obstante, analizando la documentación referida a la programación, implementación y gestión de los fondos en el periodo previo, como el “Informe Anual 2012 del Programa Plurirregional de Adaptabilidad y Empleo” o el “Informe 2011 de Evaluación Operativa del P.O. del Fondo Social Europeo (FSE) de Adaptabilidad y Empleo 2007-2013”, a lo largo del periodo anterior han ido surgiendo distintas dificultades en la implementación de los programas operativos que, en gran parte de los casos, han generado cuellos de botella que han retrasado la ejecución de las actuaciones previstas y/o la certificación de los gastos incurridos. Sin lugar a dudas, es necesario solucionar este problema ya que el grado de contribución del FSE al empleo juvenil en el periodo 2014-2020 está supeditado, en gran medida, al aumento de la capacidad de absorción financiera de los recursos por parte de las Administraciones Públicas encargadas de la implementación de las actuaciones. Más aún porque el POEJ, en uno de sus Ejes Prioritarios, tiene un periodo de programación de dos años (con su correspondiente N+3) y no se debería dar lugar a pérdidas de eficiencia en tiempo y recursos.
Analizando el P.O. remitido por parte del equipo de programación, que ha tenido en consideración las propuestas realizadas por parte del equipo evaluador en versiones anteriores de la evaluación exante, se observa la inclusión de lecciones aprendidas de la gestión del periodo 2007-2013 que sería conveniente tener en consideración en la preparación del periodo actual referentes a:
— Simplificación y racionalización de procedimientos.
— Evitar solapamientos de actuaciones.
— Mejorar los sistemas de gestión y control.
— Favorecer la utilización de instrumentos financieros.
— 9 —
Se puede concluir, por lo tanto, que el balance realizado del periodo 2007-2013, por parte del equipo de programación supone un punto de partida de gran utilidad para valorar los avances llevados a cabo por el FSE, realizándose una recapitulación de conclusiones y recomendaciones a partir del aprendizaje logrado a través de la experiencia del periodo anterior, con el objetivo de su posterior consideración en el actual periodo.
2.2. La lógica de la intervención
Desde un punto de vista teórico, la estrategia de un organismo se puede entender como el plan que relaciona tres elementos: por un lado las diferentes posibilidades de actuación que tiene, el segundo elemento son los desafíos atribuibles al contexto en el que se enmarca su ámbito de actuación, para finalizar con los objetivos a largo plazo buscados.
Por lo tanto, uno de los elementos más importantes en la evaluación exante de un PO es el estudio de la estrategia del programa, siendo el propósito de esta sección el mejorar y fortalecer la calidad del POEJ mediante el establecimiento de la estrategia de programación lo más adecuada posible. También se pretende analizar si los objetivos estratégicos del POEJ, prioridades de inversión y objetivos específicos son pertinentes, coherentes y apoyados en acciones realistas. Asimismo, el equipo evaluador considera importante incluir en esta fase el análisis de la pertinencia de las medidas previstas para promover la igualdad de oportunidades entre mujeres y hombres, y prevenir la discriminación, siguiendo las disposiciones del art.55.3 del Reglamento General en los párrafos k y g. Las fases que compone esta sección son:
— Pertinencia del Programa: capacidad que tienen las prioridades y objetivos específicos del P.O. para atacar, por un lado los retos y necesidades detectados, y además, potenciar las fortalezas identificadas (en el análisis DAFO).
— Análisis de la coherencia externa y principalmente la adecuación de la estrategia del Programa con los objetivos de la Estrategia Europa 2020, y el Acuerdo de Asociación, además de considerar su alineamiento con las principales estrategias nacionales y sectoriales.
— Análisis de la coherencia interna es decir, la valoración del modo en que se han articulado las acciones, prioridades y objetivos específicos seleccionados para el PO y sus contribuciones futuras a los distintos niveles de objetivos, mediante el estudio de la lógica de la intervención.
— Análisis de la incorporación de las prioridades horizontales: pertinencia de las medidas previstas para promover la igualdad de oportunidades entre mujeres y hombres, prevenir la discriminación y promover el desarrollo sostenible.
2.2.1. Pertinencia del Programa
Se analiza el nivel de intensidad con el que cada una de las prioridades y líneas de acción propuestas se relaciona con los resultados del análisis DAFO. Para ello, se construye un "marco" que asegura cómo las prioridades y líneas de acción del PO se corresponden con los desafíos que trata de afrontar este Programa. Para hacer este análisis de la pertinencia, el equipo evaluador diseña una matriz donde, de una forma clara se puede apreciar la existencia (o no) de vínculos entre el análisis DAFO realizado y las prioridades establecidas por parte del equipo de programación del POEJ.
Metodología seguida en el análisis de la pertinencia
Con el objetivo de evaluar de forma sistemática la pertinencia de la estrategia de inversión elegida en los distintos Objetivos Específicos (O.E.), se ha aplicado un método “ad hoc”2 que se describe a lo largo de este epígrafe, en el que se presenta tanto el marco conceptual como los métodos de aproximación de los distintos grados de pertinencia.
2 Esta aproximación de pertinencia del OE corresponde con el análisis de pertinencia parcial de la evaluación ex ante del Acuerdo de Asociación. Documento de Trabajo de IEF. 2014
— 10 —
Instituto de Estudios Fiscales
La Pertinencia del P.O., referida a la Estrategia de inversión trata, a través de este análisis, de dar respuesta a la cuestión de si las prioridades de inversión y objetivos específicos seleccionados en el P.O. se adecúan a las principales debilidades y fortalezas del mismo. Se trata de un concepto próximo al “impacto directo” utilizado habitualmente en los análisis de impacto ex ante.Por lo tanto, analiza la capacidad que las prioridades de inversión y objetivos específicos propuestos en el P.O. tienen para corregir las debilidades principales (y para potenciar las fortalezas) observadas en el ámbito del PO, y, en la medida que sea posible, reducir el impacto de las amenazas (y aprovechar las oportunidades) identificadas. Así, la capacidad de la Estrategia de inversión para mejorar la realidad de un ámbito concreto puede aproximarse a través del análisis de Pertinencia.
Metodología de medición del grado de pertinencia
a. Categorización de debilidades y fortalezas
A partir del diagnóstico realizado en el P.O., se ha identificado una serie de debilidades (y fortalezas). Sin embargo, no todas ellas tienen la misma importancia en términos cualitativos en los diferentes objetivos específicos, por lo que el equipo evaluador ha procedido a realizar una categorización de las mismas en tres grupos:
— Debilidades (Fortalezas) prioritarias. Son elementos troncales o claves para lograr mejoras sustanciales en el ámbito del P.O., bien porque afectan a una parte significativa de los actores implicados (fundamentalmente individuos, empresas y organismos públicos y privados), bien porque la movilización de ese obstáculo (o la potenciación de esa fortaleza) puede propiciar la aparición de sinergias y externalidades que generen un efecto arrastre positivo sobre el ámbito del P.O. en su conjunto.
— Debilidades (Fortalezas) de importancia alta. Se incluyen en esta categoría aquellas debilidades y fortalezas que afectan a un gran número de actores y cuya resolución (o potenciación en el caso de las fortalezas) favorecería un avance notable en el ámbito de análisis del OE tratado.
— Debilidades (Fortalezas) de importancia media. En este grupo se han incluido aspectos parciales del PO, dado que o bien afectan a un número limitado de actores (jóvenes inactivos, desempleados, etc.) o bien aluden a elementos muy particulares que, a priori, y, por si solos, no tendrían un impacto considerable sobre esa determinada situación observada en el O.E. en cuestión.
Con el fin de poder llevar a cabo la evaluación de la pertinencia de la estrategia desarrollada por el equipo de programación, inicialmente se analiza la vinculación existente entre los objetivos específicos planteados en el PO y su grado de interrelación con las debilidades detectadas durante el diagnóstico de la situación nacional, siendo el fin último el comprobar si los objetivos definidos sirven para dar respuesta a las necesidades diagnosticadas. Para ello, y usando la información suministrada en el POEJ se realiza un análisis matricial y gráfico que permita relacionar la incidencia que los objetivos específicos propuestos en la estrategia pueden tener sobre los problemas detectados en la población de jóvenes españoles, especialmente en los que ni estudian ni trabajan (ninis).
b. Impacto potencial de las prioridades de inversión de un OE sobre sus debilidades y fortalezas
Sin necesidad de emplear la categorización previamente diseñada, se ha procedido a la construcción de una matriz de cruce entre los Objetivos Específicos del PO y todas y cada una de sus debilidades y fortalezas detectadas en el análisis DAFO. A cada cruce le ha sido asignada una puntuación (en una escala de 1 a 10 puntos) dependiendo del grado de adecuación del OE a la debilidad o fortaleza identificada, es decir, de su capacidad para resolver la debilidad (o potenciar la fortaleza) en cuestión. El impacto potencial de la estrategia de inversión del OE sobre una debilidad (fortaleza) concreta es la suma de puntuaciones obtenidas en los cruces con los distintos OE.
— 11 —
(Sigue)
Vínculo entre la Estrategia dTa
el Pbla 2
O. 2y: el análisis DAFO realizado
in c e n tiv a r c o n tra ta c ió n , O E .8 .2 .4 c o n p e rs p e c t iv a
d e g e n e ro
| y e m p re n d im ie n to |in n o v a c ió n
O E 8 2 3 fo m e n ta n d o re s p o n s a b ilid a d .
a p o y a r e s p ír itu e m p re n d e d o r
| d e p e rs o n a s |
O E 8 2 2 y c o m p e te n c ia s p ro fe s io n a le s
m e jo ra r a p titu d e s
te m p ra n a yO E .8 .2 .1 p e r fe c c io n a r p ro c e s o s
in te rm e d ia c ió n y m o v ilid a d la b o ra l
m e jo ra r a c tiv a c ió n
tipo de importancia
0000
COta
sa d
e d
ese
mp
leo
alta
a p
esa
r de
la
caíd
a d
e l
a ta
sa d
e a
ctiv
ida
d
00en
00O)
Em
ple
o ju
ven
il d
est
ruid
o h
om
bre
s de
la
con
stru
cció
n y
de
la
ind
ust
ria
m
an
ufa
ctu
rera
. E
n el
ca
so d
e l
as
mu
jere
s,
pro
ced
e s
ect
or
serv
icio
s
00co
00CO
De
stru
cció
n d
e e
mp
leo
juve
nil
cen
tra
do
en
tra
ba
jad
ore
s co
n m
en
ore
s n
ive
les
de e
du
caci
ón
re
gla
da
enco
enO)
Co
nd
icio
ne
s de
tra
ba
jo d
el e
mp
leo
ju
ven
il so
n m
uy
pre
cari
as:
coO)
O)co
O)A
um
en
to d
el
de
sem
ple
o d
e l
arg
a
y m
uy
larg
a d
ura
ció
nQ.
coco
coco
O)B
ajo
con
oci
mie
nto
de
idio
ma
s e
xtra
nje
ros
o;
co00
coO)
Esc
aso
pe
so r
ela
tivo
de
la
Fo
rma
ció
n
Pro
fesi
on
al
de
gra
do
me
dio
o Q.
<D
(fí
COco
coco
Imp
ort
an
te n
úm
ero
de
jóve
ne
s q
ue
en
la a
ctu
alid
ad
no
est
ud
ia n
i tra
ba
ja "
nin
is"
CO00
O)
En
“ni-
ni”
pri
nci
pa
lme
nte
n
ive
les
de
est
ud
ios
ba
jos,
pe
ro l
os
un
ive
rsita
rio
s ta
mb
ién
pre
sen
cia
sig
nifi
cativ
a,
esp
eci
alm
en
te e
n
mu
jere
s.
00co
O)jó
ven
es
con
me
no
res
niv
ele
s d
e e
du
caci
ón
so
n l
os q
ue
me
no
s se
fo
rma
n
coco
coen
coE
leva
da
s ta
sas
de
ab
an
do
no
esc
ola
r
enco
coco
Esc
asa
in
icia
tiva
em
pre
nd
ed
ora
y b
ajo
s n
ive
les
au
toe
mp
leo
juve
nil
6 4 ,2 %
5 4 ,2 %
7 9 ,2 %
6 3 ,3 %
%
coO)
Re
cup
era
ció
n d
el c
on
sum
o i
nte
rno
fa
vore
cerá
la
cre
aci
ón
de
em
ple
o
en00
coO)
O)C
aíd
a d
e l
as t
asa
s de
act
ivid
ad
en
los
tra
mo
s de
me
no
r ed
ad
de
bid
a a
re
torn
o
a la
fo
rma
ció
n
ro O)en
roro
co co
Imp
ort
an
cia
de
la
fam
ilia
co
mo
re
d so
cia
l y
de
ap
oyo
Me
jore
s n
ive
les
en
co
mp
ete
nci
as
tra
nsv
ers
ale
s q
ue
el
rest
o d
e l
a p
ob
laci
ón
a
ctiv
a (
idio
ma
s, u
so d
e la
s te
cno
log
ías,
a
da
pta
ció
n a
l ca
mb
io,
etc.
)
fortalezas
00O)
O)en
O)D
ifere
nci
as
de
gé
ne
ro e
n re
laci
ón
co
n e
l m
erc
ad
o d
e t
rab
ajo
se
re
du
cen
Oí
o o £
o o o £
Oí ík o £
4 2 ,0 %
%
(Continúa)
mejorarrespuesta
instituciones
debilidades fortalezas
OE 8 7 1 mercado y coordinación 8 8 6 4 7 9 4 5 4 5 7 3 58,3% 3 4 2 5 2 32,0%
nacional y CCAA vía su
modernización
impacto potencial 38 36 35 21 37 27 28 36 35 30 27 33 21 32 12 27 27
c. Grado de pertinencia de la estrategia de inversión propuesta en el P. O.
El grado de pertinencia de la estrategia de inversión alude a la capacidad del conjunto de objetivos específicos del PO en afrontar las debilidades, o en potenciar las fortalezas más determinantes que han sido observadas en el ámbito del mismo a lo largo de la elaboración del DAFO. Por tanto, relaciona, por un lado el impacto potencial de la estrategia de inversión sobre cada debilidad (fortaleza), y por otra parte la importancia de la misma.
Este indicador, por tanto, aumenta si existe una buena correspondencia o proporcionalidad entre la importancia real de cada debilidad (fortaleza) y el impacto esperado (potencial) de la estrategia de inversión sobre ella. Si el mayor impacto de la estrategia de inversión se centra en las debilidades (fortalezas) prioritarias y el menor en las medias, el grado de pertinencia de la estrategia será alto y disminuirá en la medida que no se dé la correspondencia señalada.
Gráfico 2.1:Pertinencia de la estrategia de inversión del PO
D e b ilid a d e s F o rta le z a s
D e b ilid a d1
tasa de desempleo alta a pesar de la caída de la tasa de actividad
F o rta le z a 1Recuperación del consumo interno favorecerá la creación de empleo
D e b ilid a d2
Empleo juvenil destruido hombres de la construcción y de la industria manufacturera.
En el caso de las mujeres, procede sector servicios
F o rta le z a 2
Reconocimiento por parte de las personas jóvenes de la importancia
de la educación y formación. La escasez de oportunidades laborales
ha propiciado un retorno a la formación y una disminución de
abandono escolar.
D e b ilid a d3
Destrucción de empleo juvenil centrado en trabajadores con menores niveles de
educación regladaF o rta le z a 3
Importancia de la familia como red social y de apoyo
D e b ilid a d4
Condiciones de trabajo del empleo juvenil son muy precarias:
F o rta le z a 4
Mejores niveles en competencias transversales que el resto de la po
blación activa (idiomas, uso de las tecnologías,
adaptación al cambio, etc.)
(Sigue)
— 14 —
Instituto de Estudios Fiscales
Continúa)
Debilidades Fortalezas
Debilidad5
Aumento del desempleo de larga Fortaleza 5 y muy larga duración
Diferencias de género en relación con el mercado de trabajo
se reducenDebilidad
6 Bajo conocimiento de idiomas extranjeros
Debilidad7
Escaso peso relativo de la Formación Profesional de grado medio
Debilidad8
Importante número de jóvenes que en la actualidad no estudia ni trabaja "ninis"
Debilidad9
En “ni-ni” principalmente niveles de estudios bajos, pero los universitarios también presencia
significativa, especialmente en mujeres.Debilidad
10jóvenes con menores niveles de educación son
los que menos se formanDebilidad
11 Elevadas tasas de abandono escolar
Debilidad12
Escasa iniciativa emprendedora y bajos niveles de autoempleo juvenil
Fuente: Elaboración propia
Asimismo, el grado de pertinencia definido puede representarse gráficamente como una recta ajustada a la nube de puntos formada por el impacto potencial de la estrategia sobre cada debilidad o fortaleza y su grado de importancia, tal como y como se ha realizado en el epígrafe anterior.
Además de la representación gráfica, el grado de pertinencia puede aproximarse a través del coeficiente correlación de Spearman, que mide correlaciones de orden, en este caso, entre la importancia de cada debilidad o fortaleza y el impacto esperado de la estrategia de inversión sobre ella que toma el valor de 0,563.
Observando los resultados del análisis de pertinencia, cabe señalar que la adecuación de los objetivos específicos a los principales retos observados en este P.O es alta. Se produce una correspondencia positiva entre las principales debilidades y fortalezas identificadas en el análisis DAFO y los impactos potenciales que cabe esperar de los objetivos específicos y prioridades de inversión y, por tanto, la estrategia aborda convenientemente las principales debilidades del ámbito como son el desempleo juvenil (D1), que la destrucción de empleo se produce fundamentalmente en trabajadores y trabajadoras de bajo nivel educativo (D3), y la existencia de un importante número de jóvenes que ni estudian ni trabajan (D8). Asimismo, refuerza algunas de las fortalezas más significativas como la reducción de las diferencias de género en el mercado laboral.
No obstante, algunas debilidades, como la elevada tasa de abandono escolar (D11) podrían haber tenido una mayor consideración en la estrategia, lo que hubiese incrementado su grado de pertinencia.
Teniendo en cuenta el análisis asociativo previo se puede concluir que los objetivos finales de la estrategia planteada en el PO son pertinentes con las necesidades detectadas en el diagnóstico de la situación del país. Este resultado unido a que muchos de los objetivos específicos propuestos inciden sistemáticamente en las mismas debilidades hace posible el aprovechamiento de sinergias creadas por las distintas actuaciones, potenciando de este modo la pertinencia de la programación propuesta.
Además, con los resultados previos, se puede afirmar que la definición de 2 grandes prioridades de inversión (P.I.) está ampliamente fundamentada en las conclusiones obtenidas en la fase de dia
3 Si comparamos esta cifra con el resultado obtenido al analizar la pertinencia parcial de cada uno de los objetivos temáticos del Acuerdo de Asociación, podemos concluir que el grado de adecuación de la estrategia del POEJ al diagnóstico presentado es ALTO.
— 15 —
gnóstico de la situación existente en la sociedad española que se ha realizado previamente, relacionándose de manera clara cada P.I con distintos problemas detectados durante el análisis.
2.2.2. Análisis de coherencia externa
El artículo 96.2 - apartado a) del Reglamento de Disposiciones Comunes establece que el PO contribuirá a la estrategia de la Unión para el crecimiento inteligente, sostenible e integrador, y a lograr la cohesión económica, social y territorial, y presentará una justificación de los objetivos temáticos y las prioridades de inversión correspondientes, basada en la determinación de las necesidades regionales y nacionales, incluida la necesidad de abordar los retos señalados en las recomendaciones pertinentes adoptadas conforme al artículo 121, apartado 2, del TFUE y las recomendaciones pertinentes del consejo. Además la evaluación exante, como indica el artículo 55, apartado 3.a del Reglamento debe valorar la contribución del PO a la estrategia de la UE para un crecimiento inteligente, sostenible e integrador, mientras que en el párrafo 3.b indica que la evaluación exante deberá analizar la coherencia de los objetivos seleccionados con el MEC, el Acuerdo de Asociación y las recomendaciones específicas por país pertinentes adoptadas conforme al artículo 121, apartado 2, del TFUE, y cuando proceda a nivel nacional, el programa nacional de reformas.
Teniendo esto en cuenta, el equipo de evaluación exante considera que, una vez que la matriz de pertinencia del P.O. muestra y corrige el vínculo entre los retos y las necesidades, el siguiente paso consiste en realizar un análisis detallado sobre la coherencia entre aquello “que se quiere hacer” con aquello “que se puede hacer”-. En este sentido, se revisa, a través de matrices, las relaciones entre las Prioridades y objetivos del programa propuesto y las grandes líneas políticas y estratégicas existentes a dos diferentes niveles de gobierno:
— A nivel de la Unión Europea
— A nivel nacional.
Nivel Unión Europea
El primer paso será, por tanto, verificar en qué medida los objetivos y medidas del Programa se corresponden con los retos y necesidades definidas en la estrategia Europa 2020, es decir:Si los retos y las necesidades son coherentes con los objetivos y orientaciones de laEstrategia 2020, así como los retos y necesidades relativos a España indicados por parte de la Comisión Europea.
Para ello se utiliza el documento de programación proporcionado por el equipo redactor del Programa que contempla la situación actual, análisis de necesidades y prioridades de inversión, y se comparará con los documentos de referencia europeos principales, a saber:
— La Estrategia 2020 de la Unión Europea;
— Las recomendaciones específicas observadas en el “Position Paper” de la Comisión Europa (CE)
Para analizar la coherencia de los Objetivos Específicos del Programa Operativo y los planes, políticas y estrategias a nivel europeo que tienen lugar en el mismo periodo y en los mismos ámbitos que el P.O., se ha utilizado una matriz de cruce de los Objetivos Específicos con los objetivos/directrices de los planes, políticas y estrategias europeas. Para ello se ha escogido el siguiente sistema de puntuación que determina el grado de coherencia entre objetivos:
— Grado de coherencia elevado = 5 puntos.
— Grado de coherencia pertinente= 3 puntos.
— Grado de coherencia bajo= 0 puntos.
A continuación, se exponen las distintas estrategias comunitarias sobre las que se ha procedido a evaluar la coherencia externa: la estrategia EU2020 y los objetivos indicados en el Position Paper realizado por la Comisión para el caso de España a través de sus retos principales.
— 16 —
Instituto de Estudios Fiscales
La estrategia EU2020
La Estrategia Europa 2020 constituye el marco de referencia para la coordinación de las políticas económicas y de empleo de los Estados miembros de la UE. Establece un ciclo que se extiende hasta el año 2020, referencia para diseñar los Programas nacionales de reformas.
La Estrategia de la Unión para un crecimiento inteligente, sostenible e integrador establece las metas y los objetivos compartidos que deben gobernar la actuación de los Estados miembros y de la Unión Europea. Esta estrategia se materializa en cinco objetivos:
— Objetivo 1: el 75 % de la población de entre 20 y 64 años debería estar empleada.
— Objetivo 2: el 3 % del PIB de la UE debería ser invertido en I+D.
— Objetivo 3: debería alcanzarse el objetivo «20/20/20» en materia de clima y energía (incluido un incremento del 30% de reducción de emisiones si se dan las condiciones para ello).
— Objetivo 4: el porcentaje de abandono escolar debería ser inferior al 10 % y al menos el 40 % de la generación más joven debería tener estudios superiores completos.
— Objetivo 5: el riesgo de pobreza debería afectar a 20 millones de personas menos.
La siguiente Tabla de doble entrada muestra el nivel de integración entre la estrategia del PO y la europea.
Tabla 2.3.Coherencia con la Estrategia EU 2020
Objetivos de la Estrategia Europa 2020
Objetivos Estratégicos del Programa
Operativo
Objetivo 1: Empleo para el 75% de las personas de 20 a 64 años
Objetivo 2: Inversión
del 3% del
Objetivo 3: Objetivo 20/20/20
Objetivo 4: Educación
Objetivo 5: Luchar contra
la pobreza y la exclusión
social
Grado de coherencia entre objeti
vosPIB en I+D (AA -
EU2020)
OE.8.2.1 5 0 0 3 5 52%
OE.8.2.2. 5 3 3 5 5 84%
OE.8.2.3. 5 3 3 5 5 84%
OE.8.2.4 5 0 0 0 5 40%
OE.8.7.1 5 0 0 3 3 44%
Grado de coherencia
entre objetivos100% 24% 24% 64% 92%
Fuente: Elaboración propia
En la Tabla 2.3, puede observarse que dos de los objetivos de la estrategia EU 2020 se ven cubiertos por los Objetivos Específicos de este Programa Operativo, referentes al empleo y a la lucha contra la pobreza y exclusión social, con más de un 90%, mientras que el resto de objetivos de la estrategia no se ven cubiertos por el POEJ. Esto asegura una amplia cobertura en aquellos objetivos estratégicos por parte de los Objetivos Específicos de este PO, que resultan de especial relevancia.
Los objetivos de la estrategia EU 2020 para el caso de España. Position paper de la Comisión Europea
Los objetivos de la estrategia EU 2020 son comunes a todos los Estados Miembros, sin embargo, para garantizar que cada uno de ellos adapte la estrategia a su situación particular, la Comisión propone que los objetivos generales se traduzcan en objetivos y trayectorias nacionales. En este caso, los retos más apremiantes para España, según las Recomendaciones específicas para España en
— 17 —
relación con la Estrategia 20204 se concretan en ciertos aspectos como la sostenibilidad de las finanzas públicas, conseguir un sistema fiscal eficiente, realizar ajustes en el sector financiero, mejorar la situación del mercado laboral en nuestro país, atajar las debilidades estructurales de España en cuanto a educación, promover la inclusión social y la lucha contra la pobreza, acelerar las reformas para subsanar las deficiencias del entorno empresarial, reformar el sector energético y mejorar la calidad de la administración pública.
Estos desafíos pueden resumirse en los siguientes retos:
— Reto 1: elevado desempleo juvenil y total, la baja productividad laboral y el aumento de la pobreza y la exclusión social
— Reto 2: poca competitividad de las PYME y su escasa presencia en los mercados internacionales
— Reto 3: débil sistema de investigación e innovación, así como la insuficiente participación en el mismo del sector privado
— Reto 4: uso ineficiente de los recursos naturales
Para valorar la contribución de los Objetivos Específicos del P.O.E.J. a la estrategia EU 2020 para el caso de España se ha seguido la misma metodología que en el caso anterior y a partir de la matriz de cruce presentada en la siguiente tabla (Tabla 2.4) se puede concluir que solamente uno de los retos establecido en el Position Paper de la CE está cubierto adecuadamente por las dos Prioridades de Inversión, y sus correspondientes OE de este PO: el relativo al desempleo juvenil. Por lo que respecta al segundo de los retos que aparece en el Position Paper, de competitividad de las PYMES, la prioridad de inversión 8.2 cubre considerablemente las necesidades en el descritas, mientras que la PI 8.7 solamente alcanza el 60%, valor nada despreciable. Sin embargo, los otros dos retos indicados no son cubiertos por este P.O.
Tabla 2.4:Coherencia con los objetivos del Position Paper. Comisión Europea
Retos más apremiantes para España según la E.E. 2020
N° de Retos
cubiertos por PI
Media del grado de
N° Medio de Retos atendidos por el OT
Prioridades de Inversión y Objetivos Específicos
FondoReto 1 Reto2 Reto 3 Reto 4
Grado de vinculación/ Intensidad
vinculación de los OE de una PI con respecto
a lasdebilidades
OE 8.2.1 FSE 5 3 0 0 8 2
OE 8.2.2 FSE 5 5 3 0 13 356.3% 3
OE 8.2.3 FSE 5 5 3 3 16 4PI.8.2 OE 8.2.4 FSE 5 3 0 0 8 2
Contribución de la estrategia de inversión
de la PI a los retos de la EE 2020
100% 80% 30% 15%
OE.8.7.1 FSE 5 3 0 0 11 3 55.0% 2
PI.8.7Contribución de la
estrategia de inversión de la PI a los retos
de la EE 2020
100% 60% 0% 0%
Fuente: Elaboración propia
4 COM (2013) 359 final.
— 18 —
Instituto de Estudios Fiscales
Nivel nacionalA continuación, el equipo evaluador también llevará a cabo este análisis de coherencia externa con los grandes marcos nacionales, que se traducirán principalmente en los Acuerdos de Asociación, que de alguna forma reflejan los Programas Nacionales de Reformas que se llevaron a cabo en 2013, además de otros documentos fundamentales que se tendrán que tener en cuenta:— Acuerdo de Asociación del Periodo 2014-2020.— Programa Nacional de Reformas España 2013 PNR.— Estrategia de emprendimiento y Empleo Joven 2013-2016. (Recomendaciones 5 y 6 del Consejo)— Plan Nacional de implantación de Garantía Juvenil, Iniciativa de Empleo Juvenil.Acuerdo de asociaciónEvaluar la coherencia externa implica asimismo analizar la consistencia de la estrategia del P.O.E.J. con la estrategia planteada en el Acuerdo de Asociación presentado por España para el periodo 2014-2020.El Acuerdo de Asociación se presenta como un documento de carácter estratégico a elaborar por el Estado miembro con la participación de los agentes principales, es decir, las autoridades regionales, locales y otras autoridades públicas competentes; los interlocutores económicos y sociales; y los organismos que representen a la sociedad civil, en consonancia con el enfoque de gobernanza multini- vel. Este documento debe asimismo contemplar la estrategia del Estado miembro y las prioridades y medidas para la utilización de los fondos EIE de una manera efectiva y eficiente para perseguir la estrategia de la Unión para un crecimiento inteligente, sostenible e integrador. Los grandes objetivos que se plantea son los siguientes:
OT1: Potenciar la investigación, el desarrollo tecnológico y la innovación
OT2: Mejorar el uso y la calidad de las tecnologías de la información y de las comunicaciones y el acceso a las mismas
OT3: Mejorar la competitividad de las pequeñas y medianas empresas, del sector agrícola (en el caso del FEADER) y del sector de la pesca y la acuicultura (en el caso del FEMP)
OT4: Favorecer el paso a una economía con bajas emisiones de carbono en todos los sectores
OT5: Promover la adaptación al cambio climático y la prevención y gestión de riesgos
OT6: Proteger el medio ambiente y promover la eficiencia en el uso de los recursos
OT7: Promover un transporte sostenible y eliminar los estrangulamientos en las infraestructuras de red fundamentales
OT8: Promover el empleo y favorecer la movilidad laboral
OT9: Promoción de la inclusión social y reducción de la pobreza
OT10: Invertir en la educación, el desarrollo de las capacidades y el aprendizaje permanente mediante el desarrollo de las infraestructuras de educación y formación
— 19 —
Cuadro 2.1.Objetivos Temáticos del Acuerdo de Asociación
Fuente: Acuerdo de Asociación para España 2014-2020
El equipo evaluador considera que la coherencia con el Acuerdo de Asociación está asegurada en el sentido de que toma de éste las prioridades de inversión asociadas al OT8 y, por lo tanto, el objetivo principal del POEJ de promover el empleo juvenil y favorecer la movilidad laboral coincide, plenamente, con la estrategia señalada por el propio Acuerdo de Asociación.
Programa nacional de reformas
El siguiente paso en el estudio de la coherencia externa desde la óptica nacional consiste en analizar la consistencia de la estrategia del P.O.E.J. con el Plan Nacional de Reformas (PNR), que se presenta como un programa de gran envergadura que incorpora acciones que tienen como principal objetivo la mejora de la eficiencia, flexibilidad y competitividad de distintos ámbitos de la economía española y para facilitar el crecimiento y la creación de empleo (Tabla 2.5).
Tabla 2.5.Plan Nacional de Reformas y Acuerdo de Asociación
Tipo Medida
AGS 1. Proseguir un saneamiento fiscal diferenciado y favorecedor del crecimiento
AGS 2. Restablecer las condiciones normales de préstamo a la economía
AGS 3. Fomentar el crecimiento y la competitividad actual y futura
Objetivoespecifico
Eje 1. Aumentar la flexibilidad de la economía 1 -^ de ^de la Economía Española No aplica
Ley de Garantía de la Unidad de Mercado y Plan de Racionalización Normativa
Aplicación de los principios de necesidadEje 2. Garantizar un entorno favorable y proporcionalidad a los medios de
a los emprendedores, facilitando el inicio intervención de los municipios y el desarrollo de proyectos empresariales . . . . . . y apoyando su internacionalización Ley de A poyo al Emprended°r
y su Internacionalización
Ley de Colegios y Servicios Profesionales
Reforma del Gobierno Corporativo
OE 8.2.3.
Reforma educativaEje 3. Capital humano Planes para la reducción
del abandono escolarOE.8.2.2.
. , , , . .. Agenda Digital para España Eje 4. Impulso a la innovación 3 a r ry a las nuevas tecnologías
Investigación, Desarrollo e Innovación
Nuevo marco de supervisión de la competencia y los mercados
Reforma energética
Impulsar la competencia en el sector de carburantes
Eje 5. Garantizar un funcionamiento competitivoy eficiente de los mercados Liberalización del transporte
ferroviario de viajeros
Mejora de la regulación del transporte terrestre
Nuevo modelo de gestión de infraestructuras aeroportuarias
OE.8.2.2.
Nuevo marco de planificación estratégica: . „ . . . . . el Plan de Infraestructuras,
Eje 6. Mej° rar la eficiencia y competitividad Transporte y Vivienda de los sistemas logísticos 1 ransporte y Vivienda
Impulso a la Intermodalidad
Modificación de la Ley de Prevención y Control Integrados de la Contaminación
Proyecto de Ley de protecciónEje 7. Crecimiento respetuoso con el medio y uso sostenible del litoral
ambiente y lucha contra los efectos y de modificación de la Ley de Costas del cambio climático
Plan Sectorial de Turismo y Biodiversidad
Plan Nacional de Mejora de la Calidad del Aire
(Sigue)
— 20 —
Instituto de Estudios Fiscales
(Continúa)
Tipo Medida Objetivoespecifico
AGS 1. Proseguir un saneamiento fiscal diferenciado y favorecedor del crecimiento
AGS 2. Restablecer las condiciones normales de préstamo a la economía
AGS 3. Fomentar el crecimiento y la competitividad actual y futura
Nuevo modelo de política de suelo y vivienda
Eje 8. Impulsar la competitividad de los sectores
Plan Estatal para la regeneración urbana y el alquiler
Plan Nacional e Integral de Turismo.Ley de medidas para mejorar el
funcionamiento de la cadena alimentariaCreación de un Código de Buenas
Prácticas Mercantiles.Estrategia de apoyo a las Industrias
Culturales y Creativas.
Seguimiento de la reforma del mercado laboral
OE. 8.2.1., OE 8.2.4,
OE.8.7.1..
Eje 9. Lucha contra el desempleo y las consecuencias sociales de la crisis
Políticas activas de empleo: una nueva estrategia orientada a mejorar la capacidad
de inserción profesional, en particular de los más jóvenes
OE.8.2.1, - 8.2.4.
Inclusión social
AGS 5. Modernizar la administración pública
Eje 1. Racionalización y eliminación de duplicidades
Ley para la Racionalización y Sostenibilidad de la Administración Local
OE.8.7.1.
Comisión para la Reforma de las Administraciones Públicas (CORA)
Eje 2. Transparenciade la administración pública
Ley de Transparencia, Acceso a la Información Pública y Buen Gobierno OE.8.7.1
Eje 3. Impulso de la administración electrónica yreducciónde cargas
Séptimo Acuerdo de Consejo de Ministros sobre reducción de cargas administrativas OE.8.7.1
Eje 4. Mejorar la calidad, independencia y eficiencia de los sistemas judiciales
Profesionalización de la carrera judicial OE.8.7.1
Fuente: Plan Nacional de Reformas
Para analizar la coherencia de los Objetivos Específicos del Programa Operativo y el Plan Nacional de Reformas, se ha utilizado la misma metodología que en el apartado anterior.
— 21 —
Tabla 2.6.Coherencia con Plan Nacional de Reformas 2013
Ejes del plan nacional de reformas 2013Objetivos
Específicos del PO
AGS 3. Fomentar el crecimiento y la competitividad Actual y futura
AGS 5. Modernizar la administración pública
devinculación
Eje 1 Eje 2 Eje 3 Eje 4 Eje 5 Eje 6 Eje 7 Eje 8 Eje 9 Eje 1 Eje 2 Eje 3 Eje 4
OE 8.2.1. 5 0 0 0 3 0 0 0 5 3 0 3 0 29%
OE 8.2.2. 3 3 5 5 0 0 3 0 5 3 0 3 0 46%OE 8.2.3. 5 5 3 3 3 0 3 3 5 0 0 3 0 51%
OE 8.2.4. 5 0 0 0 3 0 0 0 5 0 0 3 0 25%
OE 8.7.1 0 3 3 3 3 0 0 3 5 5 0 5 0 46%
Grado de 72% 44% 44% 44% 48% 0% 24% 24% 100% 44% 0% 68% 0%vinculación 44% 28%
Fuente: Elaboración propia
En primer lugar, hay que tener en cuenta que la AGS1 y la AGS2 del PNR hacen referencia a medidas de carácter macroeconómico que no tienen relación con la EU2020, por lo que no han sido tenidas en cuenta en el análisis. Sin embargo, en lo que respecta al resto de medidas se observa que sobretodo el ejel y el eje9 del AG3, así como el eje3 del AG5 del PNR están en línea con los objetivos de crecimiento integrador reflejados en el PO.
La estrategia de emprendimiento y empleo joven 2013-2016
La tercera de las estrategias analizadas para comprobar el grado de coherencia con el POEJ es la Estrategia de Emprendimiento y Empleo Joven 2013-2016 (EEEJ). La estrategia se instrumenta con una motivación fundamental: reducir la tasa de desempleo juvenil y abordar las causas estructurales que hacen que sea superior a la de la población en general. Para ello, se proponen 100 medidas (agrupadas en 10 líneas de actuación), que se han diseñado para hacer frente a los diferentes desequilibrios identificados. Los objetivos marcados en esta estrategia son los siguientes:
— Objetivo 1: Contribuir a mejorar la empleabilidad de los jóvenes.
— Objetivo 2: Aumentar la calidad y la estabilidad del empleo joven.
— Objetivo 3: Promover la igualdad de oportunidades.
— Objetivo 4: Fomentar el espíritu emprendedor.
Para analizar la coherencia de los Objetivos Específicos del POEJ y la Estrategia de Emprendimiento y Empleo Joven se ha utilizado la misma metodología que la mostrada para el Plan Nacional de Reformas.
Tabla 2.7.Coherencia con la Estrategia de Emprendimiento y Empleo Joven
Prioridades de Inversión y Objetivos Específicos
Objetivos de la Estrategia de Emprendimiento y Empleo Joven (EEEJ) Grado de
vinculación/ Intensidad
N° de Objetivos cubiertos
por OE
Media del grado de
vinculación de los OE
con respecto a la EEEJ
Objetivo1 Objetivo2 Objetivo3 Objetivo 4
PI 8.2 5 5 5 5 4
OE 8.2.1 5 5 3 3 16 2PI.8.2 78,8%
OE 8.2.2 5 5 3 5 18 3
(Sigue)
— 22 —
Instituto de Estudios Fiscales
(Continúa)
Prioridades de Inversión y Objetivos Específicos
Objetivos de la Estrategia de Emprendimiento y Empleo Joven (EEEJ) Grado de N° de
Objetivos cubiertos
por OE
Media del grado de
vinculación de los OE
con respecto a la EEEJ
Objetivo1 Objetivo2 Objetivo3 Objetivo 4vinculación/Intensidad
OE 8.2.3 3 3 3 5 14 4
OE 8.2.4 5 5 5 0 15 2
Coherencia de la estrategia de inversión
del PO con los objetivos de EEEJ
90% 90% 70% 65%
PI 8.7 5 3 5 3 4
OE.8.7.1 5 3 5 3 16 3 80,0%8 7 Coherencia de la
PI.8.7 estrategia de inversión del PO con los
objetivos de EEEJ100% 60% 100% 60%
Fuente: Elaboración propia
Claramente se observa que la coherencia entre el POEJ y la estrategia de empleo joven es muy alta, especialmente por lo que respecta a los tres primeros objetivos de la EEEJ. En general, las acciones programadas por el POEJ inciden en gran número de los objetivos buscados por esta estrategia nacional. Solamente destacar que el único objetivo que no parece favorecer de manera tan considerable es el relacionado con el fomento del espíritu emprendedor.
Plan nacional de implantación de garantía juvenil
Finalmente en lo referente al apartado de coherencia externa del POEJ en relación a las actuaciones nacionales, el equipo evaluador analiza el grado de relación respecto al Plan nacional de Garantía Juvenil (PNGJ). El objetivo de este plan es garantizar que todos los jóvenes menores de 25 años reciban una buena oferta de empleo, educación continua, formación de aprendiz o periodo de prácticas en un plazo de cuatro meses tras acabar la educación formal o quedar desempleados. Los grandes objetivos que se marca son:
— Mejorar la intermediación
— Mejorar la empleabilidad
— Favorecer la contratación
— Favorecer el emprendimiento
Tabla 2.8.Coherencia con el Plan Nacional de implantación de Garantía Juvenil
Prioridades de Inversión y Objetivos Específicos
Objetivos de la Plan Nacional de implantación de Garantía Juvenil (PNGJ) Grado de
vinculación/
Intensidad
N° de Objetivos cubiertos
por OE
Media del grado de
vinculación de los
OE con respecto a la PNGJ
intermediación
empleabilidad
contratación
emprendimiento
PI 8.2 3 5 5 3
OE 8.2.1 5 5 5 3 18 4
OE 8.2.2 3 5 5 3 16 4PI.8.2 77,5%
OE 8.2.3 0 5 3 5 13 4
OE 8.2.4 5 5 5 0 15 4
(Sigue)
— 23 —
(Continúa)
Fuente: Elaboración propia
De manera clara se puede concluir que la coherencia entre el PO y la estrategia del Plan de Garantía Juvenil es muy elevada, mostrando valores que se sitúan entre el 100% y el 90% en muchos casos, como cabría esperar, dado quelas acciones programadas por el POEJ inciden en la mayoría de los objetivos buscados por el PNGJ. De manera similar a lo ocurrido en el estudio de la coherencia con la Estrategia de Emprendimiento y Empleo Joven, el único objetivo que no parece favorecer de manera tan considerable es el relativo a fomentar el emprendimiento, similar resultado al obtenido en la estrategia nacional anterior.
Observando el análisis previo, se puede resaltar el alto grado de fundamentación e interrelación existente entre los objetivos específicos y P.I. de la estrategia del POEJ tanto en lo referente a las estrategias a nivel europeo, dadas en la estrategia de la UE2020 y las orientaciones del consejo, así como los planes desarrollados a nivel nacional, como son el Acuerdo de Asociación, el Plan Nacional de Reformas, la Estrategia de emprendimiento y empleo Joven, y finalmente el Plan Nacional de implantación de Garantía Juvenil, ya que, las metas y objetivos planteados se encuentran estrechamente relacionados con las directrices marcadas por las distintas estrategias nacionales o europeas tenidas en consideración.
2.2.3. Análisis de coherencia interna
Como se establece en el Articulo 55,3,b y f sobre la evaluación exante de los programas operativos, será necesario valorar “la coherencia interna del programa o de la actividad propuestos y su relación con otros instrumentos financieros, y la manera en que los productos esperados contribuirán a los resultados”. Por este motivo, en este capítulo se desarrolla el estudio de la coherencia interna del Programa Operativo. Para ello es recomendable detectar y clarificar de forma explícita la estructura de la estrategia del P.O con el fin de facilitar la mejor comprensión de la misma. Las posibilidades que se consideran son las siguientes:
— Detección de las sinergias entre los Objetivos Específicos del POEJ, es decir, medir el grado en que unos Objetivos influyen sobre los otros para alcanzar el objetivo general de la intervención.
— La consistencia de la estrategia mediante un esquema gráfico que explicite la definición y jerar- quización de esta, y que permita extraer conclusiones sobre el nivel de estabilidad y fuerza de la intervención pública.
— Especificación del marco lógico o cadena de valor de las intervenciones mediante la representación de diagramas de flujo para las acciones diseñadas en cada OE.
— 24 —
Prioridades de Inversión y Objetivos Específicos
Objetivos de la Plan Nacional de implantación de Garantía Juvenil (PNGJ) Grado de
vinculación/
Intensidad
N° de Objetivos cubiertos
por OE
Media del grado de
vinculación de los
OE con respecto a la PNGJ
intermediación
empleabi-lidad
contratación
emprendimiento
Coherencia de la estrategia de inversión del
PO con los objetivos de PNGJ
PI 8.7OE.8.7.1
Coherencia de la estrategia
PI87 de inversión del PO con los
objetivos de PNGJ
65% 100% 90% 55%
5 5 5 3 4 5 5 5 3 18 4 90,0%
100% 100% 100% 60%
Instituto de Estudios Fiscales
Por lo que se refiere a la primera aproximación de análisis de la coherencia interna, la evaluación de las sinergias entre los Objetivos Específicos del POEJ implica examinar la capacidad de cada Objetivo para influir sobre el logro del resto de Objetivos, bien por influencia5 (la consecución de un Objetivo permite alcanzar otros Objetivos del PO) o bien por sensibilidad6 (la consecución de otros Objetivos permite alcanzar el Objetivo en cuestión).
Para analizar estos efectos se empleará la metodología recomendada en la Guía para la Evaluación del Desarrollo Socioeconómico que consiste en la construcción de una matriz en la que se valoran las interrelaciones entre los diferentes OE. Para ello, se asigna un valor a cada cruce (1, 3 y 57) en función de la intensidad de interrelación entre los Objetivos.
Así, esta matriz permite obtener, por filas, la intensidad y vinculación funcional entre los OE, esto es, el grado de influencia de un Objetivo sobre el resto. Del mismo modo, pero por columnas, permite determinar en qué medida un Objetivo se ve influenciado por los demás, determinando, por tanto, el grado de sensibilidad de este objetivo.
Este análisis permite clasificar los Objetivos en cuatro grupos jerárquicos:
— Objetivos estratégicos, son aquellos con una valoración superior a la media tanto en influencia como en sensibilidad. Por tanto, constituyen objetivos clave de la estrategia por su elevado potencial multiplicador.
— Objetivos influyentes, son aquellos que tienen una elevada capacidad de influencia (superior a la media), pero un menor grado de sensibilidad (inferior a la media). Éstos pueden considerarse objetivos con elevado grado de influencia.
— Objetivos sensibles, son aquellos con una sensibilidad mayor que la media pero con influencia inferior a la media. Por tanto, su desarrollo o éxito depende en buena parte del cumplimiento o el logro de los otros objetivos, por lo que presentan un elevado grado de dependencia del resto.
— Objetivos independientes, son aquellos que por sus propias características presentan un mayor grado de independencia (baja influencia y sensibilidad respecto a la media).
A continuación, se presenta la matriz de sinergias entre los Objetivos Específicos del Programa Operativo:
Tabla 2.9.Matriz de sinergias entre Objetivos Específicos del Programa Operativo.
OE.8.2.1 OE.8.2.2 OE.8.2.3 OE.8.2.4 OE.8.7.1Cómo influye
(influencia)
OE.8.2.1 3 5 5 1 14
OE.8.2.2 5 5 3 3 16
OE.8.2.3 5 3 3 1 12
OE.8.2.4 5 3 1 1 10
OE.8.7.1 5 3 3 5 16
Cómo es influido (sensibilidad) 20 12 14 16 6 13,6
Fuente: Elaboración propia
Con la información disponible en la tabla anterior sobre sinergias se puede realizar la representación gráfica de las mismas, tomando como punto de referencia el valor medio de las influencias que se generan entre OE (que es de 13,6).
5 Mide el impacto que tiene sobre otros OE.6 Mide el impacto que otros OE tienen sobre él.7 El valor 1 determina una intensidad de interrelación débil, el valor 3 moderada y el 5 aguda.
— 25 —
Gráfico 2.2:Representación gráfica de las sinergias entre Objetivos Específicos
Fuente: Elaboración propia
Conforme a esta matriz de sinergias y a su correspondiente gráfico, se puede desarrollar la siguiente clasificación de los Objetivos Específicos del PO.
Tabla 2.10.Clasificación de los Objetivos Específicos bajo el análisis de coherencia interna.
Objetivosestratégicos Objetivos influyentes Objetivos sensibles Objetivos
independientes
OE8.2.1 OE8.2.4 OE8.7.1, OE8.2.2 OE8.2.3
Fuente: Elaboración propia
En primer lugar, cabe destacar que casi todos los OE mantienen algún tipo de interrelación entre ellos, ya sea de manera débil, moderada o intensa. Estas sinergias favorecen el funcionamiento del Programa Operativo y la consecución del objetivo general de la intervención.
Sin embargo, existe un OE que, tanto por su influencia sobre el resto, así como por su sensibilidad a la hora de ser influido por otros Objetivos, obtiene un carácter estratégico. Este es el OE8.2.1 (mejorar la activación temprana y perfeccionar los procesos de intermediación y movilidad laboral). Este objetivo está dirigido, principalmente, a combatir las necesidades más importantes identificadas en el diagnóstico inicial referente a la alta tasa de desempleo existente. En este sentido, y tal como se observa en el análisis de la pertinencia, es el objetivo que incidía de manera más notable sobre las debilidades y fortalezas identificadas.
En el otro extremo, se encuentran aquellos objetivos que, dado su grado de influencia y sensibilidad, se determinan como independientes, es decir, su consecución no depende en gran medida del logro de otros, así como su éxito no contribuye, intensamente, al cumplimiento del resto. Este es el OE8.2.3 (apoyar el espíritu emprendedor fomentando la responsabilidad y la innovación y emprendimiento).
Finalmente, se sitúan aquellos objetivos específicos que se ven influidos, en mayor medida, por la consecución del resto, como lo son el OE8.2.2 (mejorar las aptitudes y las competencias profesionales de las personas jóvenes), OE8.7.1 (Mejorar la calidad y respuesta de las instituciones del mercado de trabajo y su coordinación), y, por último, un objetivo que influye, intensamente, en el éxito de otros, como es el OE8.2.4 (incentivar la contratacion, teniendo en cuenta la perspectiva de genero).
Consistencia de la Estrategia
Una vez analizada la coherencia interna, la consistencia de la estrategia se llevará a cabo a través de un análisis enprofundidad de los objetivos y prioridades, identificando la manera en la que se relacionan y la
— 26 —
Instituto de Estudios Fiscales
posible existencia de objetivos y prioridades contradictorias, así como recomendaciones para solucionar estos problemas. Este análisis de coherencia interna se hará a través de dos elementos:— El diseño de un árbol de objetivos, que presentará de forma clara las interrelaciones entre el obje
tivo general del POEJ, sus objetivos específicos y las prioridades de inversión que se fijen en el Programa para su desarrollo e implementación.
— El diseño del marco lógico que, establece la cadena recursos, actividades, productos y resultados finales.
Diseño de árbol de objetivos del Programa OperativoEl análisis de la compatibilidad interna de la estrategia permitirá detectar y señalar las posibles sinergias entre las diferentes líneas de actuación y acciones y se comprobará si una línea de acción no pone en peligro los resultados de otra. Para ello, la jerarquía de los objetivos y las relaciones existentes entre ellos se presentarán de forma piramidal, donde las diferentes alturas de la pirámide indican que se trata de objetivos más estratégicos y de más largo plazo. Sin embargo, existen situaciones en las que esta estructura piramidal puede resultar en ocasiones ambigua, puesto que no facilita el entendimiento jerarquizado de la estrategia a desarrollar, pudiendo localizarse ciertas inconsistencias o falta de información en aspectos como:— La forma concreta en que cada uno de los Objetivos Intermedios contribuye a la consecución de
los Objetivos Finales.— La argumentación de cómo ayudan los Objetivos específicos a poder alcanzar los Objetivos In
termedios y, en consecuencia, los Finales del POEJ.Este planteamiento permitirá una mayor interrelación de la estrategia con los indicadores que serán establecidos para su seguimiento y, por ende, facilitará la futura evaluación de la estrategia del PO, así como incrementará la importancia de la misma respecto a los resultados que se generaran en las futuras evaluaciones intermedias y expost.El equipo evaluador considera que, analizando el documento de programación del POEJ remitido por el equipo programador sería recomendable una fundamentación teórica más detallada de las prioridades para la consecución de los Objetivos planteados en el POEJ, que permita explicitar la coherencia del POEJ con las principales necesidades y problemas detectados durante el diagnóstico. La siguiente figura realizada por el equipo de evaluación muestra una posibilidad en la definición y jerar- quización de la estrategia en forma piramidal, que explicita las relaciones existentes y que puede resultar adecuada para el entendimiento de las sinergias creadas entre las diferentes líneas de actuación, prioridades y objetivos intermedios propuestos para el cumplimiento de los objetivos finales.
Gráfico 2.3:Diseño de árbol de los objetivos del PO
Fuente: Elaboración propia
— 27 —
La gran ventaja que presenta el análisis de este Programa Operativo es que, dada su estructura, con un único Objetivo Temático (OT8: Promover el empleo y favorecer la movilidad laboral), y solo dos Ejes Prioritarios, uno con dos PI y el otro solo con la PI 8.2., resulta bastante sencillo y recomendable realizar una sistematización de la relación existente entre Objetivos Finales y Objetivos Intermedios, y entre éstos y las prioridades de actuación contenidas en el PO (incluyendo los objetivos específicos de cada prioridad).
A través del análisis realizado por el equipo evaluador se puede afirmar que el PO es consistente en términos de las relaciones entre objetivos de corto, medio y largo plazo. Además, se observa que existen sinergias, como la establecida por el OE8.7.1 que tiene una relación directa con un objetivo a medio plazo (La modernización de las instituciones del mercado de trabajo, como los servicios de empleo públicos y privados y la mejora de la respuesta a las necesidades del mercado laboral) también puede afectar de manera indirecta al otro objetivo de medio plazo planteado en esta estrategia (Integración sostenible en el mercado de trabajo de los jóvenes, en particular aquellos sin trabajo y no integrados en los sistemas de educación y formación).
Diseño del Marco Lógico del Programa Operativo
Una vez analizada la consistencia del Programa, la evaluación ex ante valorará la forma en que los productos contribuyen a los resultados esperados del programa, mediante la elaboración de un diagrama lógico de impacto para cada Objetivo Específico, destinado a establecer los vínculos de causalidad de los diferentes tipos de acciones previstos, partiendo desde los recursos disponibles, los productos que se generan, para finalizar con los resultados esperados. Para este fin, el equipo evaluador examinará la contribución que se espera de los objetivos específicos y de las Prioridades de inversión de las líneas de acción seleccionadas, comprobando si los productos generan los resultados deseados a nivel del Programa.
Con esta estructura de la estrategia se puede identificar los impactos posibles según los diferentes tipos de proyectos, que es, sin lugar a dudas, el elemento central presente en todos los programas y la óptica del nuevo periodo de programación 2014-2020 orientada a resultados. Esta teoría enfocada a resultados e impacto resulta mucho más fácil de realizar en aquellos proyectos con objetivos muy enfocados que satisfacen mejor las expectativas, pero que son menos numerosos.
Gráfico 2.4:Marco Lógico(cadena de valor) de un Objetivo Específico
Fuente: Elaboración propia
Mediante la representación del marco lógico de las acciones, dentro del marco de una evaluación ex ante el equipo evaluador, se puede observar el grado de eficacia que se puede llegar a lograr con las diferentes actividades y proponer modificaciones en el caso que así se consideren. Para ello se analizaran:
— La descripción de cada actuación financiada en este Programa Operativo.
— Se estudiará como los productos pueden generar los resultados esperados, y si factores externos pueden afectar la obtención de los resultados buscados.
Este estudio nos permite identificar los vínculos más importantes entre las medidas y los objetivos. Naturalmente, en este contexto, se debe tener en cuenta:
— la asignación financiera de los recursos entre los diferentes ejes y medidas, y
— 28 —
Instituto de Estudios Fiscales
— los factores externos importantes que influyen en la elección de las políticas del Programa.
Dado que, como ya se ha indicado por parte del equipo evaluador, se sugiere al equipo de programación clarificar de manera más explícita la estructura de dicha estrategia con el fin de facilitar la comprensión de la misma, a continuación se presenta un posible esquema de representación gráfica de la misma a partir de la cual se podría desarrollar la argumentación, tanto de la coherencia interna como de la pertinencia. En este análisis se separa cada uno de los Objetivos específicos dentro de la P.I.
Antes de pasar a analizar cada uno de los OE es necesario realizar dos aclaraciones. La primera de ellas es en relación al primer paso del marco lógico, relativo a los recursos necesarios para realizar cualquier actividad. Dependiendo de la acción emprendida serán necesarios recursos financieros, personal, de edificios, etc. Con el objeto de simplificar el análisis se ha considerado un único recurso, que es el “recurso financiero”, dado que con una asignación presupuestaria se pueden lograr el resto: contratación de personal, compra de equipos informáticos, etc. Además se ha realizado la distinción, dado que son acciones cofinanciadas, en denominarlo “recurso del FSE y nacional”.
La segunda aclaración es la relativa a los indicadores que se utilizaran para cuantificar el resto de etapas en el marco lógico. El equipo de evaluación ha observado la existencia de multitud de posibilidades a la hora de establecer un indicador, pero en aras de la simplificación, se ha decido por emplear los propuestos por el equipo de programación, aunque esto pueda suponer un perdida de intuición en los análisis.
Una vez realizadas estas aclaraciones comenzamos con el análisis de las actividades, que el equipo de la UAFSE ha establecido en el POEJ, relacionadas con el OE 8.2.1., que son:
— Acciones de orientación profesional, información laboral y acompañamiento en la búsqueda de empleo.
— Actuaciones con agencias de colocación.
— Programas de movilidad
A continuación se presenta la cadena de valor para cada una de estas acciones:
Gráfico 2.5.Marco Lógico de las actuaciones asociadas al OE.8.2.1
— 29 —
Se va a explicar la causalidad existente en la tercera de las acciones (programa de movilidad), indicando que para el resto de actuaciones la lectura es similar. Partiendo de unos recursos financieros, aportados tanto por fondos europeos como nacionales, se realizan acciones de movilidad laboral a personas desempleadas. El producto que van a generar estas acciones son personas desempleadas (de larga duración) que están participando. Es de esperar que una persona que recibe esta asistencia tenga más posibilidades de encontrar trabajo. Por lo tanto, y siguiendo una estructura de causalidad, el comprobar si esta acción ha tenido el resultado esperado podría ser analizando el número de participantes en los programas de movilidad que han recibido una oferta de empleo.
Utilizando esta forma de análisis para el resto de acciones del OE 8.2.1 parece claro que existe una lógica bien marcada en todas las actuaciones. El equipo evaluador considera, que bajo ciertos supuestos ajenos a la actuación, el objetivo que se establece puede ser alcanzado con estas actuaciones.
Pasamos a continuación a considerar las actuaciones asociadas al Objetivo Especifico 8.2.2. En total encontramos las siguientes 8 diferentes actividades:
— Programas de segunda oportunidad.
— Formación con compromiso de contratación.
— Formación, especialmente en idiomas y TIC.
— Impulso de la formación dual.
— Escuelas Taller y Casas de Oficios y programas mixtos de empleo-formación.
— Evaluación y acreditación de las competencias profesionales.
— Prácticas no laborales en empresas.
— Formación para la obtención de certificados de profesionalidad.
El marco lógico asociado a las actuaciones citadas queda representado en la siguiente figura:
Gráfico 2.6.Marco lógico de las actuaciones asociadas al O.E.8.2.2
— 30 —
Instituto de Estudios Fiscales
Tal y como se observa, las actuaciones enmarcadas en este Objetivo Específico están encaminadas a mejorar la empleabilidad de aquellas personas no ocupadas ni integradas en los sistemas de formación y educación, principalmente. En este sentido, el producto asociado a las medidas señaladas, se refiere a aquellas personas que participan en el marco de una determinada acción. Por ejemplo, en el caso de la actuación para la formación con compromiso de colocación, el producto asociado serían aquellas personas inactivas no integradas en los sistemas de educación o formación que participan bajo esta acción y, bajo la estructura de causalidad descrita en la figura, el resultado esperado podría ser aquellos participantes que están empleados en el plazo de seis meses posteriores a la participación.
Para el resto de acciones la lógica de actuación es bastante similar, por lo que el equipo evaluador considera que los resultados pueden ser alcanzados adecuadamente bajo la actual estrategia de inversión del PO.
La financiación, como ya se ha comentado para el anterior Objetivo Específico, proviene tanto de recursos nacionales, como de los fondos europeos.
Por lo que se refiere, a las acciones relacionadas al Objetivo Especifico 8.2.3 estas son:
— Ayudas al autoempleo.
— Fomento de la cultura emprendedora.
— Medidas para favorecer el autoempleo y el emprendimiento colectivo en el marco de economía social.
— Asesoramiento al autoempleo y creación de empresas y formación para emprendimiento.
Siendo su análisis de marco lógico el siguiente:
— 31 —
Gráfico 2.7.Marco lógico de las actuaciones asociadas al O.E.8.2.3
Para este OE, las cuatro acciones programadas tienen un claro carácter de fortalecimiento del auto- empleo. Para esas acciones los indicadores de producto ideales son personas, inactivas o desempleadas, que participan en las distintas acciones. Como ejemplo, partiendo de la medida OE8.2.3.4, Es de esperar que al realizar una acción de asesoramiento al autoempleo de un inactivo (actividad) la “producción” de esa acción se pueda medir como el “número de personas participantes en la acción de asesoramiento que no están integradas en el sistema educativo o de formación”, pero si el análisis de esta actuación se quedara en ese punto se estaría perdiendo de vista el objetivo de este periodo de programación orientado a resultado. El objetivo final de esta acción es que las personas que son beneficiadas de esa acción, ahora tengan más posibilidades de encontrar un empleo. Por ese motivo el paso final del marco lógico para esta actividad es observar el número de personas inactivas que encuentran empleo tras haber participado en la actividad. Aplicando esta lógica al resto de actividades se observa una estructura consistente en el diseño de las actuaciones propuestas por parte del equipo de programación.
Para el Objetivo Especifico 8.2.4., las acciones descritas son:
— Bonificaciones en las cuotas de la Seguridad Social.
— Ayudas al empleo para la contratación de jóvenes con un periodo mínimo de permanencia.
— Fomento de la economía social.
— Formación y fomento del empleo para jóvenes investigadores.
— Otros incentivos a la contratación.
Siendo la estructura de causalidad subyacente en las actuaciones la que se muestra a continuación:
— 32 —
Instituto de Estudios Fiscales
Gráfico 2.8.Marco lógico de las actuaciones asociadas al O.E.8.2.4
En este caso particular, la mayoría de las actividades propuestas generan productos que influyen en la obtención del resultado. No obstante, el equipo evaluador considera que existe una acción que no se encuentra correctamente capturada en esta fase. Es la relativa a “formación y fomento de empleo para jóvenes investigadores”. Inicialmente cabe esperar que esta acción está destinada tanto a personas con estudios de nivel medio (CINE 2) como de nivel superior o universitario (CINE 3). Sin embargo, observando los indicadores propuestos por el equipo de programación solo aparecen presentes indicadores para personas con estudios secundarios, dejando sin cubrir la posibilidad de estudiantes de doctorado o similares. En esta situación se estaría prestando una acción, pero no se tendría un indicador de producto que reflejara la ejecución de la misma, generándose de este modo una clara disfunción: existe una actuación pero el indicador de producto no se mueve. Tras realizar una consulta a la UAFSE relativa a esta cuestión, el equipo programador expuso que las acciones que se iban a realizar con ese objetivo iban destinadas exclusivamente a estudiantes de formación profesional, y no a universitarios. Por lo tanto, las dudas suscitadas al inicio quedan completamente resueltas.
Para el Objetivo Especifico 8.7.1. las acciones se centran en la adaptación de los servicios públicos de empleo y otras instituciones del mercado laboral, las medidas adoptadas para el intercambio de información y consulta de sistemas de información y la puesta en funcionamiento del sistema de información y la base de datos única.
— 33 —
Gráfico 2.9.Marco lógico de las actuaciones asociadas al O.E.8.7.1
En los casos anteriores las actuaciones tenían un marcado carácter vertical. En estas situaciones resulta bastante sencillo establecer un producto para cada actuación. Sin embargo, el OE.8.7.1., al tratarse de acciones con un claro principio horizontal, como son la creación de sistemas informáticos, aplicaciones, etc., el producto que se genera no es tan claro como en los casos anteriores. Sin duda, se puede afirmar que esta es la actividad, entre todas las analizadas, en la que el estudio de la causalidad resulta más difuso, no pudiéndose establecer un marco lógico tan consiste como el obtenido en los anteriores casos.
2.2.4. Análisis de la incorporación de las prioridades horizontales
Tal y como se recomienda en el artículo 55, párrafo 3, puntos l) y m), del Reglamento de Disposiciones Comunes, la evaluación ex-ante debe examinar "la adecuación de las medidas previstas para promover la igualdad de oportunidades entre hombres y mujeres, prevenir todo tipo de discriminación, en particular a la accesibilidad para personas con discapacidad, y promover el desarrollo sostenible".
Para ello, el equipo evaluador propone el análisis de estas prioridades como punto fundamental de la evaluación de la estrategia del Programa. Siguiendo las indicaciones presentadas en las líneas guía de la Comisión Europea para el desarrollo de las evaluaciones ex-ante, este análisis cubrirá los puntos siguientes:
Promoción de la igualdad entre hombres y mujeres
La igualdad de oportunidades entre hombres y mujeres en la UE y en España ha adquirido una gran importancia durante la última década, sobre todo en lo que se refiere al impulso de esta perspectiva en las políticas nacionales de cada uno de los países miembros de la Unión. Como prueba de ello, es la importancia que se otorga a la incorporación de la cuestión de género en todas las actuaciones cofinanciadas por los Fondos Europeos. En relación con la igualdad entre hombres y mujeres, en este documento se evaluará:
— la manera en que el objetivo de la promoción de la igualdad se ha tenido en cuenta al elaborar el Programa (en el desarrollo del análisis socioeconómico, en la fase de concepción del Programa, y a través de procesos de consulta con organismos responsables de cuestiones de igualdad, entre otros)
— la contribución del Programa en la promoción de la igualdad entre mujeres y hombres y las modalidades previstas para garantizar la integración de la dimensión "hombres-mujeres" tanto en el nivel de Programa como en las operaciones, examinando si los documentos de programación contienen disposiciones adecuadas en relación con la integración del principio de igualdad entre hombres y mujeres en los procesos de implementación, seguimiento y evaluación
— 34 —
Instituto de Estudios Fiscales
Por ello, se analiza el grado de aplicación de la cuestión de género en el documento de programación, analizando:
— El correcto uso del lenguaje, evitando el uso de expresiones sexistas.
— La inclusión en la estrategia y un análisis profundo de la situación inicial diferenciando por cuestión de género la existencia de resultados particularmente relevantes.
— La desagregación en función del sexo de los datos y estadísticas que se utilizaran en los distintos indicadores, ya sean de producto o resultado, con una diferenciación por cuestión de género siempre que sea pertinente, unido al establecimiento de un sistema de seguimiento y evaluación en materia de género que presente información total y desagregada por sexo y que permita el análisis del impacto de la política y la aplicación de la prioridad de igualdad de género.
Fomento de la igualdad de oportunidades y prevención de la discriminación
La aplicación de los Fondos EIE debe tender a eliminar las desigualdades y promover la igualdad entre hombres y mujeres, así como a combatir la discriminación basada en el sexo, origen racial o étnico, religión o convicciones, discapacidad, edad u orientación sexual. Además, teniendo en cuenta el artículo 55.3, se debe valorar la estrategia establecida en el PO en lo referente a la igualdad de oportunidades y la prevención de la discriminación. Por este motivo se analizarán las siguientes cuestiones:
— las acciones específicas previstas a lo largo del proceso de elaboración, concepción e implemen- tación del Programa (medidas específicas que se hayan tomado para la participación de los actores relevantes en la identificación de problemas/necesidades, definición de objetivos, decisiones relativas a la asignación de recursos, selección de acciones a ser apoyadas, formas previstas para el acceso a la financiación, etc.).
Teniendo presente la valoración de la incorporación en la estrategia de estos dos principios horizontales, se ha desarrollado una valoración de cómo los principales aspectos como la estrategia, la gobernanza, los indicadores y las asignaciones financieras tienen en cuenta estos principios horizontales, teniendo en cuenta 3 tipos posibles de valores: alto, medio y alto .
En la Tabla 2.11 se valora el principio horizontal de igualdad entre hombres y mujeres y el de igualdad de oportunidades y no discriminación en el Programa Operativo:
Tabla 2.11.Integración del principio de igualdad de oportunidades y no discriminación en el Programa Operativo
Estrategia Gobernanza Indicadores Asignacionesfinancieras
Prom
oció
n de
igua
ldad
ho
mbr
e y
muj
er
Intensidad Alta Media Media Media
Apreciación
Se realiza el análisis de contexto siempre
teniendo en cuenta la desagregación por género y tramos de edad de ambos grupos. En las priorida
des de inversión como así también en los objetivos específicos se observan la
inclusión de este principio.
Se manifiesta estar en coordinación con el Gobierno, CC.AA,
interlocutores sociales y otros agentes interesados en la elabora
ción y puesta en marcha del POEJ.
Aunque se debería garantizar explícita
mente la participación de la mujer de manera
transversal.
Todos los indicadores relacionados
con individuos (partici
pantes o desempleados, inactivos) están desagrega
dos por cuestión de
sexo.
La elegibilidad de la financiación se hará en base al colectivo
beneficiario, es decir la edad de 15 a 24 años con inde
pendencia de su naturaleza (empleo, formación, educa
ción o inclusión social). Sin embargo, la asignación financiera no aparece desglosada
por sexo.
(Sigue)
— 35 —
(Continúa)
E s tra te g ia G o b e rn a n z a In d ic a d o re sA s ig n a c io n e s
fin a n c ie ra s
Fo
me
nto
ig
ua
lda
d d
e o
po
rtu
nid
ad
es
y
pre
ve
nc
ión
de
dis
cri
min
ac
ión
In te n s id a d A lta M e d ia M e d ia M e d ia
A p re c ia c ió n
Las medidas adoptadas tienen en cuenta este principio tales como personas en situaciones de dis
criminación múltiple y grupos más vulnerables. Se tienen análi
sis por tramos de edad y CC.AA. en las prioridades de inversión como así también en los objetivos específicos se obser
van la inclusión de este principio.
Se manifiesta estar en coordinación con el Gobierno,
CC.AA, interlocutores sociales y otros
agentes interesados en la elaboración
y puesta en marcha del POEJ.
Losindicadores
estándiseñados en dirección a la condición de
desempleados e inactivos
más que por grupos
específicos, aunque queda
implícita la aplicación de este principio.
La elegibilidad de la financiación se hará en base al colectivo
beneficiario, es decir la edad de 15 a 24 años
con independencia de su naturaleza
(empleo, formación, educación
o inclusión social). Aunque la asignación financiera no aparece
explícitamente desglosada por grupos.
Fuente: Elaboración propia
Además, respecto a la cuestión del correcto uso del lenguaje, se observa analizando el POEJ, que es permisible concluir que la incorporación de la perspectiva de género se encuentra considerablemente integrada de forma transversal en la estrategia diseñada, mostrándose un correcto uso del lenguaje.
Adicionalmente, se puede hacer mención de otros principios que se tienen en cuenta en el POEJ tales como la innovación social y desarrollo sostenible.
En cuanto a innovación social el equipo de programación indica que procurará que en cada objetivo específico se pongan en marcha estrategias que faciliten la aplicación de soluciones innovadoras a los retos que afrontan las personas jóvenes “ninis”.
También se considera el principio de desarrollo sostenible a través del objetivo específico 8.2.2 donde hacen referencia a la mejora de aptitudes y competencias necesarias para cubrir las necesidades de mano de obra en sectores como la economía verde o las tecnologías de la información y las comunicaciones desarrollando así conexión con el sector de telecomunicaciones y medioambiente.
Por lo que se refiere a la condicionalidad ex ante, cabe destacar el cumplimiento de esta en los temas relativos a lucha contra la discriminación, igualdad de género y protección de los derechos de las personas con discapacidad. También el desarrollo de un apartado específico sobre los principios horizontales con especificaciones de necesidades, medidas y cumplimiento de reglamentos que aporta el POEJ en el periodo de actuación.
Finalmente, siguiendo los estándares que la OCDE desarrolló con el fin de contribuir a establecer evaluaciones realizadas de acuerdo con los Principios de Evaluación de la Ayuda al Desarrollo del CAD (1991), y que se centran en la gestión e institucionalización de los sistemas de evaluación y configuran los criterios de referencia usados en las evaluaciones entre miembros del CAD, el equipo evaluador ha analizado los cinco criterios correspondientes a la lógica de la intervención haciendo uso de ellos, asignando como en el caso anterior 3 posibles valores: alta, media y baja.
— 36 —
Instituto de Estudios Fiscales
Criterios de evaluación Nivel de evaluabilidad
Pertinencia: Adecuación de los objetivos de la intervención a las necesidades, prioridades, prácticas y estratégicas, de mujeres y hombres y grupos vulnerables a discriminación
Alta
Eficacia: Relación de los objetivos del programa con los resultados pretendidos considerando los beneficios alcanzables por mujeres y hombres, y grupos vulnerables a discriminación, sin analizar los costes en los que se incurre para obtenerlos.
Alta
Eficiencia: Valoración si los resultados vinculados a la igualdad de género y no discriminación pueden ser logrados a un coste razonable y de si los beneficios tienen un coste equitativo y si puede ser asignados equitativamente.
Medio
Impacto: Contribución del programa a la política más amplia de igualdad de género y no discriminación, a los objetivos sectoriales de igualdad y al avance hacia la igualdad a largo plazo.
Medio
Sostenibilidad: Alcance de logros relevantes en materia de igualdad de género y no discriminación que serán mantenidos después del período de financiación.
Medio
De esta manera, puede concluirse que el PO propone una estrategia de acción que tiene presente de forma adecuada la cuestión de género y también el relativo a la igualdad de oportunidades y prevención de la discriminación, lo que permite confirmar el completo cumplimiento de lo establecido por la normativa europea, siendo coherente con esta legislación y considerándose pertinente a la hora de reducir las desigualdades identificadas en el análisis de la situación socioeconómica en España.
Capítulo III. Indicadores, seguimiento y evaluación
El uso de indicadores para el seguimiento y la evaluación de los Fondos EIE8 ha existido desde los primeros períodos de programación, aunque es en el período 2014-2020 donde van a cobrar mayor importancia, debido al enfoque a resultados que la Comisión pretende conseguir a través de los Reglamentos. Hasta ahora el seguimiento y la evaluación se hacían, fundamentalmente, a través de los indicadores ligados a la gestión de las actuaciones (indicadores operativos) y por ello se prestaba especial atención a las cuantías gastadas y productos desarrollados9, pero bajo la estrategia Europa
8 FEDER, FSE, FEADER, FEMP y Fondo de Cohesión, aunque de éste último España no recibirá financiación para el período 2014-2020.9 Los productos desarrollados varían en función del tipo de actuaciones que desarrollan cada uno de los Fondos EIE: personas que reciben cursos de formación para mejorar su inserción en el mercado laboral, kilómetros de carreteras construidas,
— 37 —
2020 y el enfoque a resultados que se establece en el periodo 2014-2020, los indicadores que valoran los resultados de las actuaciones cobran especial importancia. Íntimamente relacionado con este hecho se encuentra la cuantificación de la efectividad de las acciones que se realizan, por lo que resulta imprescindible contar con una batería de indicadores que presenten toda aquella información relevante para la toma de decisiones, tanto en un entorno de gestión del programa como desde una óptica más estratégica.
En este sentido, la evaluación ex ante del Acuerdo de Asociación, ya contempla la importancia del enfoque a resultados, planteando una batería de 34 indicadores estratégicos, que se refieren a los grandes resultados que la intervención total de los Fondos EIE pretende conseguir.
El artículo 55 del RDC* 10, apartado3, letras c),g),j) yk) establece que la evaluación exante “valorará (c) la pertinencia y claridad de los indicadores del programa, (g) si los valores previstos cuantificados de los indicadores son realistas, habida cuenta de la ayuda prevista de los Fondos EIE, (k) la idoneidad de los hitos seleccionados para el marco de rendimiento, y, finalmente, (j) la idoneidad de los procedimientos de seguimiento del programa y de recogida de datos necesarios para llevar a cabo evaluaciones”. Por este motivo, en esta sección de la evaluación exante se tiene por objetivo asegurar el cumplimiento de dichos requisitos del RDC:
— Verificar las características teóricas de los indicadores propuestos, prestando especial atención a la pertinencia y la coherencia de los mismos.
— Estimar el nivel de realismo de la cuantificación realizada sobre las consecuciones del PO.
— Analizar los indicadores asociados al Marco de Rendimiento.
— Comprobar si existe la suficiente capacidad administrativa para recolectar información y realizar evaluaciones.
A continuación se desarrollan cada una de las secciones mencionadas.
3.1. Análisis Teórico del sistema de indicadores propuesto
Una vez que el equipo de programación ha establecido sus prioridades de intervención, que terminan por concretarse en actuaciones, es necesario medir la evolución de la parte operativa a través de indicadores de gestión o indicadores operativos, donde se pueden destacar, los indicadores financieros, ligados al gasto que se va realizando, y los indicadores de producto, que miden la cantidad que se va produciendo.
Sin lugar a dudas, lo mencionado previamente tiene una óptica de gestión. Para completar el seguimiento de una actuación pública, se deben cuantificar los resultados obtenidos a partir de su intervención, resultados que deben ser más concretos que los definidos en las estrategias iniciales. En esta fase se pueden distinguir dos tipos de indicadores, los indicadores de resultado y los de impacto, que buscan medir el resultado a más largo plazo que los primeros.
El uso de estos indicadores permite tener una visión clara y completa del desarrollo de la estrategia general y de las actuaciones concretas. Conocer bien las fases del desarrollo de un proyecto financiado con fondos públicos es crucial para poder hacer un buen seguimiento a través del sistema de indicadores propuesto.
superficie agraria bajo proyectos de mejora de la calidad del suelo, proyectos que apoyan la innovación y competitividad de la pesca, número de patentes nuevas creadas, etc.10 Reglamento (UE) N° 1303/2013 del Parlamento Europeo y del Consejo de 17 de diciembre de 2013 por el que se establecen disposiciones comunes relativas al FEDER, FSE, Fondo de Cohesión, FEADER y al FEMP y por el que se deroga el Reglamento (CE) Na 1083/2006 del Consejo.
— 38 —
Instituto de Estudios Fiscales
Gráfico 3.1.Identificación de las fases de un proyecto financiado con fondos públicos
Fuente: Elaboración propia
Además de una clasificación de los indicadores de acuerdo a la fase de la actuación pública analizada, también se puede plantear una clasificación en función de la obligatoriedad o no de los indicado- resexigida por la Comisión a través de los Reglamentos, habiendo indicadores que deben calcularse de manera obligatoria (indicadores comunes, según legislación del período 2014-20211) y otros que pueden ser específicos de cada programa (indicadores específicos). En este sentido, un indicador puede ser común y de producto, específico y de resultado, etc.
Finalmente, junto con el enfoque a resultados del nuevo período, otro de los aspectos clave para la evaluación y el seguimiento de los Fondos EIE es el Marco de Rendimiento, mecanismo por el cual la Comisión podrá llevar acabo correcciones financieras en caso de incumplimiento de los hitos intermedios y metas finales establecidos por los responsables de cada Programa Operativo.
Los indicadores de producto y resultado empleados por el equipo de programación son los siguientes:
Tabla 3.1.Indicadores de Producto delos Ejes Prioritarios 1 y 5 del PO
Identificación Indicador Unidad de medida Fondo Categoría
de región Fuente de datosFrecuencia
de los informes
(P.8.2.1)Desempleados
incluidos de larga duración
Participantes FSETres
tipos de regiones
Estadística basada en históricos
Anualmente
(P.8.2.2)Personas inactivas
no integradas en los sistemas de
educación o formación
Participantes FSETres
tipos de regiones
Estadística basada en históricos
Anualmente
(P.8.2.3)Personas con
estudios de enseñanza primaria (CINE 1 ) o secundaria (CINE 2)
Participantes FSETres
tipos de regiones
Estadística basada en históricos
Anualmente
(P.8.7.1)
Número de proyectos dirigidos a las
administraciones públicas o a los
servicios públicos a nivel nacional, regional o local
Participantes FSETres
tipos de regiones
Estadística basada en históricos
Anuales
Fuente: Programa Operativo de Empleo Juvenil
11 Son los indicadores core del período 2007-2013.
— 39 —
Tabla 3.2.Indicadores de Producto del Eje de Asistencia Técnica del PO
Identificación Indicador Unidad de medida Fondo Categoría de región Fuente de datos
Frecuencia de los
informes
Actuaciones de
(A.P.1)preparación,
seguimiento y control del Programa
Operativo de Empleo Juvenil
N° deactuaciones
Tres tipos de regiones
Estadística basada en históricos
Anualmente
Numero de Estudios Tres tipos de regiones
Estadística basada en históricos
(A.P.2) y evaluaciones relacionadas con el Programa Operativo
N° de estudios Anualmente
(A.P.3)
Numero de campañas relacionadas con el Programa Operativo de Empleo Juvenil
N° de campañas
Tres tipos de regiones
Estadística basada en históricos
Anualmente
Fuente: Programa Operativo de Empleo Juvenil
Tabla 3.3.Indicadores de Resultado de los Ejes Prioritarios 1 y 5 del PO del PO
Identificación IndicadorCategoría
deRegión
Unidad de medida
paraindicador
Indicador de ejecución
comúnutilizado como base para la
fijación de un valor previsto
Fuente de datos
Frecuencia de los
informes
(8.2.1.1)
Participantes desempleados que
completan la intervención subvencionada por la Iniciativa de Empleo
Juvenil
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(8.2.1.2)
Participantes desempleados que
reciben una oferta de empleo, educación
continua, aprendizaje o período de prácticas tras
su participación
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(8.2.1.3)
Participantes desempleados que se
integran en los sistemas de educación o
formación, que obtienen una cualificación, o que
obtienen un empleo, incluido por cuenta
propia, tras su participación.
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(Sigue)
— 40 —
Instituto de Estudios Fiscales
(Continúa)
Identificación IndicadorCategoría
deRegión
Unidad de medida
para indicador
Indicador de ejecución
común utilizado como base para la fijación
de un valor previsto
Fuente de datos
Frecuencia de los
informes
(8.2.1.4)
Participantes inactivos y no integrados en los
sistemas de educación o formación que completan
la intervención subvencionada por la Iniciativa de Empleo
Juvenil
Tres tipos de región Participantes
personas inactivas no
integradas en los sistemas de
educación o formación
Estadística basada
en históricosUn informe
al año
(8.2.1.5)
Participantes inactivos y no integrados en los sistemas de educación o formación que reciben una oferta de empleo, educación continua,
aprendizaje o período de prácticas tras su
participación
Tres tipos de región Participantes
personas inactivas no
integradas en los sistemas de
educación o formación
Estadística basada
en históricosUn informe
al año
(8.2.1.6)
Participantes inactivos y no integrados en los sistemas de educación
o formación que se integran en los sistemas
de educación o formación, que obtienen una cualificación, o que
obtienen un empleo, incluido por cuenta
propia, tras su participación.
Tres tipos de región Participantes
personas inactivas no
integradas en los sistemas de
educación o formación
Estadística basada
en históricosUn informe
al año
(8.2.1.7)
Participantes en educación continua o
programas de formación que den lugar a una
cualificación, un aprendizaje o un período de prácticas en el plazo
de seis meses siguientes a su participación
Tres tipos de región Participantes desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.2.1.8)Participantes empleados
en el plazo de seis meses siguientes a su
participación
Tres tipos de región Participantes desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.2.1.1)
Participantes que trabajen como
autónomos en el plazo de seis meses siguientes
a su participación
Tres tipos de región Participantes desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.2.2.2)
Participantes desempleados que
completan la intervención subvencionada por la Iniciativa de Empleo
Juvenil
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(Sigue)
— 41 —
(Continúa)
Identificación IndicadorCategoría
deRegión
Unidad de medida
para indicador
Indicador de ejecución
común utilizado como base para la fijación
de un valor previsto
Fuente de datos
Frecuencia de los
informes
(8.2.2.3)
Participantes desempleados que
reciben una oferta de empleo, educación
continua, aprendizaje o período de prácticas tras su participación
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(8.2.2.4)
Participantes desempleados que se
integran en los sistemas de educación o
formación, que obtienen una cualificación, o que
obtienen un empleo, incluido por cuenta
propia, tras su participación.
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(8.2.2.5)
Participantes inactivos y no integrados en los sistemas de educación
o formación que completan la intervención
subvencionada por la Iniciativa de Empleo
Juvenil
Tres tipos de región Participantes
personas inactivas no
integradas en los sistemas de
educación o formación
Estadística basada
en históricosUn informe
al año
(8.2.2.S)
Participantes inactivos y no integrados en los sistemas de educación o formación que reciben una oferta de empleo, educación continua,
aprendizaje o período de prácticas tras su
participación
Tres tipos de región Participantes
personas inactivas no
integradas en los sistemas de
educación o formación
Estadística basada
en históricosUn informe
al año
(8.2.2.7)
Participantes inactivos y no integrados en los sistemas de educación
o formación que se integran en los sistemas
de educación o formación, que
obtienen una cualificación, o que
obtienen un empleo, incluido por cuenta
propia, tras su participación.
Tres tipos de región Participantes
personas inactivas no
integradas en los sistemas de
educación o formación
Estadística basada
en históricosUn informe
al año
(8.2.2.8)
Participantes en educación continua o
programas de formación que den lugar a una
cualificación, un aprendizaje o un período de prácticas en el plazo
de seis meses siguientes a su participación
Tres tipos de región Participantes desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(Sigue)
— 42 —
Instituto de Estudios Fiscales
(Continúa)
Identificación IndicadorCategoría
deRegión
Unidad de medida
para indicador
Indicador de ejecución
común utilizado como base para la fijación
de un valor previsto
Fuente de datos
Frecuencia de los
informes
(8.2.2.9)Participantes empleados
en el plazo de seis meses siguientes a su
participación
Tres tipos de región Participantes desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.2.2.9)
Participantes que trabajen como
autónomos en el plazo de seis meses siguientes
a su participación
Tres tipos de región Participantes desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.2.3.1)
Participantes desempleados que
completan la intervención subvencionada por la
Iniciativa de Empleo Juvenil
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(8.2.3.2)
Participantes desempleados que
reciben una oferta de empleo, educación
continua, aprendizaje o período de prácticas tras
su participación
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(8.2.3.3)
Participantes desempleados que se
integran en los sistemas de educación o
formación, que obtienen una cualificación, o que
obtienen un empleo, incluido por cuenta
propia, tras su participación.
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(8.2.3.4)
Participantes inactivos y no integrados en los sistemas de educación
o formación que completan la intervención
subvencionada por la Iniciativa de Empleo
Juvenil
Tres tipos de región Participantes
personas inactivas
no integradas en los sistemas de educación o formación
Estadística basada
en históricosUn informe
al año
(8.2.3.5)
Participantes inactivos y no integrados en los
sistemas de educación o formación que reciben una oferta de empleo, educación continua,
aprendizaje o período de prácticas tras su
participación
Tres tipos de región Participantes
personas inactivas
no integradas en los sistemas de educación o formación
Estadística basada
en históricosUn informe
al año
(8.2.3.6)
Participantes inactivos y no integrados en los sistemas de educación
o formación que se integran en los sistemas de
educación o formación, que obtienen una cualificación, o que obtienen un empleo, incluido por cuenta propia,
tras su participación.
Tres tipos de región Participantes
personas inactivas
no integradas en los sistemas de educación o formación
Estadística basada
en históricosUn informe
al año
(Sigue)
— 43 —
(Continúa)
Identificación IndicadorCategoría
deRegión
Unidad de medida
para indicador
Indicador de ejecución
común utilizado como base para la fijación
de un valor previsto
Fuente de datos
Frecuencia de los
informes
(8.2.3.7)
Participantes en educación continua
o programas de formación que den lugar a una cualificación, un
aprendizaje o un período de prácticas en el plazo
de seis meses siguientes a su participación
Tres tipos de región Participantes Desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.2.3.8)Participantes empleados
en el plazo de seis meses siguientes a su
participación
Tres tipos de región Participantes desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.2.3.9)
Participantes que trabajen como
autónomos en el plazo de seis meses siguientes
a su participación
Tres tipos de región Participantes desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.2.4.1)
Participantes desempleados que
completan la intervención subvencionada por
la Iniciativa de Empleo Juvenil
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(8.2.4.2)
Participantes desempleados que
reciben una oferta de empleo, educación
continua, aprendizaje o período de prácticas tras su participación
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(8.2.4.3)
Participantes desempleados que se
integran en los sistemas de educación
o formación, que obtienen una
cualificación, o que obtienen un empleo,
incluido por cuenta propia ,tras su participación.
Tres tipos de región Participantes
desempleados incluidos de
larga duración
Estadística basada
en históricosUn informe
al año
(8.2.4.4)
Participantes inactivos y no integrados en los sistemas de educación
o formación que completan la intervención
subvencionada por la Iniciativa de Empleo
Juvenil
Tres tipos de región Participantes
personas inactivas
no integradas en los sistemas de educación o formación
Estadística basada
en históricosUn informe
al año
(8.2.4.5)
Participantes inactivos y no integrados en los sistemas de educación o formación que reciben una oferta de
empleo, educación continua, aprendizaje o
período de prácticas tras su participación
Tres tipos de región Participantes
personas inactivas
no integradas en los sistemas de educación o formación
Estadística basada
en históricosUn informe
al año
(Sigue)
— 44 —
Instituto de Estudios Fiscales
(Continúa)
Identificación IndicadorCategoría
deRegión
Unidad de medida
para indicador
Indicador de ejecución
común utilizado como base para la fijación
de un valor previsto
Fuente de datos
Frecuencia de los
informes
(8.2.4.6)
Participantes inactivos y no integrados en los sistemas de educación
o formación que se integran en los sistemas
de educación o formación, que
obtienen una cualificación ,o que obtienen un
empleo, incluido por cuenta propia, tras su participación.
Tres tipos de región Participantes
personas inactivas
no integradas en los sistemas de educación o formación
Estadística basada
en históricosUn informe
al año
(8.2.4.7)
Participantes en educación continua
o programas de formación que den lugar a una cualificación, un
aprendizaje o un período de prácticas en el plazo
de seis meses siguientes a su participación
Tres tipos de región Participantes desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.2.4.8)Participantes empleados
en el plazo de seis meses siguientes a su
participación
Tres tipos de región Participantes Desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.2.4.9)
Participantes que trabajen como
autónomos en el plazo de seis meses siguientes
a su participación
Tres tipos de región Participantes desempleados
e inactivosEstadística
basada en históricos
Un informe al año
(8.7.1.1) Fases de desarrollo aplicativo informático
Tres tipos de región porcentaje
Número de proyectos
dirigidos a las administraciones
públicas o los servicios
públicos a nivel nacional,
regional o local
Estadística basada
en históricosUn informe
al año
Tabla 3.4.Indicadores de Resultado del Eje de Asistencia Técnica del PO
Identificación
Indicadorde ejecución común
Unidad utilizado como FrecuenciaIndicador . _ g .. de medida base para , de los Indicad°. de Región mddcddw b. f ^ ó n de datos indf! rli” “ cpara indicador la fijación informes
de un valor previsto
(A.1)
Porcentaje del gasto financiero de Estadísticaasistencia técnica Tres tipos Porcentaje basada Un informededicado a tareas de región financiero en al añode preparación, históricosejecución, segui
miento y control
(Sigue)
— 45 —
(Continúa)
Identificación
Indicadorde ejecución común
Unidad utilizado como Frecuencia Indicador . _ g .. de medida base para , de los
de Región mddcddw b. fienCnón de datos indf! rlm“ c para indicador la fijación informesde un valor
previsto
(A.2)
(A.3)
Numero de estudios y evaluacio- Estadísticanes relacionados Tres tipos basada Un informe con el Programa N° de estudiosde región en al añoOperativo de históricosEmpleo Juvenil
publicados
Porcentaje de colectivo del
programaoperativo de Estadística opera wo e Tres tipos Porcentaje basada Un informe
Empleo Juvenil de región de ninis en al añoque conocen las históricosactuaciones cofinanciadas gracias
a las campañas
Fuente: Programa Operativo de Empleo Juvenil
Las propiedades teóricas que el equipo evaluador ha revisado para esta batería de indicadores, teniendo en cuenta los requisitos reglamentarios han sido:
— Pertinencia: para ello, los indicadores deben reflejar el grado de cumplimiento de las operaciones y los objetivos al que pertenece el indicador, captando, por tanto, el impacto directo de aquel sobre éste. Su valor debe de estar influenciado de manera directa y en la medida de lo posible por las acciones financiadas en la prioridad de inversión concreta.
— Coherencia: los indicadores son idóneos con respecto al resultado esperado para el que se han propuesto, logrando capturar su esencia.
— Claridad: los indicadores tienen un título claro y una definición inequívoca y fácil de entender. Es decir, deben de ser de fácil comprensión, libres de complejidades.
— Factibilidad: los indicadores deben ser construidos, en la medida de lo posible, en base a las estadísticas disponibles. Su medición no debe suponer una carga excesiva a los gestores de los Fondos.
Una vez definidas las diferentes propiedades teóricas para el sistema de indicadores del POEJ del FSE 2014-202, el equipo evaluador valorará si un determinado indicador cumple la propiedad plenamente, la cumple moderadamente o no la cumple, tal y como se refleja en la tabla 3.5. Así, lo deseable es que los diferentes indicadores cumplan todas las propiedades, al menos, de manera moderada. En el caso de que alguna propiedad no se cumpla, el programador debería plantearse si ese indicador es bueno para el seguimiento de la actuación del Programa, y quizás sustituirse por otro.
Tabla 3.5.Leyenda para la comprobación de las propiedades deseables de los indicadores del POEJ
El indicador sí cumple la propiedad El indicador cumple moderadamente la propiedad El indicador no cumple la propiedad
X
Fuente: Elaboración propia
— 46 —
Instituto de Estudios Fiscales
Finalmente, y aplicando esta metodología, el equipo evaluador obtiene una serie de proporciones verticales que permiten hablar del porcentaje de indicadores que cumplen una determinada propiedad, así como también se puede plantear el análisis en términos horizontales y analizar el cumplimiento de diferentes propiedades por parte de un determinado indicador.
Las siguientes tablas (Tabla 3.6, Tabla 3.7, Tabla 3.8 y Tabla 3.9) recogen la evaluación de las propiedades teóricas, y continuación de cada una de ellas se destacan varios comentarios que complementan la información presentada en las mismas.
Tabla 3.6.Evaluación propiedades teóricas de los Indicadores de Producto de los Ejes Prioritarios 1 y 5 del PO
Indicador(identificación) Pertinencia Coherencia Claridad Factibilidad
(P.8.2.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
(P.8.2.2) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
(P.8.2.3) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
(P.8.7.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
Fuente: Elaboración propia
Para los Indicadores de Producto de los Ejes Prioritarios 1 y 5 del POEJ, cabe destacar que el 100% de éstos cumplen las propiedades de pertinencia, coherencia y factibilidad, y sólo en el caso del indicador “desempleados incluidos de larga duración" el cumplimiento de la claridad del mismo se produce de manera moderada. En este sentido, el equipo evaluador considera que el indicador podría cumplir esta propiedad en su totalidad si se refiriera a participantes jóvenes, tal y como se plantea bajo el enfoque del propio Programa Operativo, mejorando la claridad del mismo.
Tabla 3.7.Evaluación propiedades teóricas de los Indicadores de Producto del Eje de Asistencia Técnica del PO
Indicador(identificación) Pertinencia Coherencia Claridad Factibilidad
(A.P.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
(A.P.2) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
(A.P.3) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
Fuente: Elaboración propia
En cuanto a los Indicadores de Producto para el Eje de Asistencia Técnica, el equipo evaluador verifica que todos ellos cumplen con todas las propiedades exigidas en los requisitos reglamentarios siendo, por lo tanto, adecuados para valorar el producto generado en lo que a este Eje se refiere.
Tabla 3.8.Evaluación propiedades teóricas de los Indicadores de Resultado
de los Ejes Prioritarios 1 y 5 del PO
Indicador(identificación) Pertinencia Coherencia Claridad Factibilidad
(8.2.1.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
(8.2.1.2) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
(8.2.1.3) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
(8.2.1.4) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
(Sigue)
— 47 —
(Continúa)Indicador
(identificación) Pertinencia Coherencia Claridad Factibilidad
(8.2.1.5) / / / / / / / / / / / /(8.2.1.6) / / / / / / / / / / / /(8.2.1.7) / / / / / / / / / / / /(8.2.1.8) / / / / / / / / / / / /(8.2.1.1) / / / / / / / / / / / /(8.2.2.2) / / / / / / / / / / / /(8.2.2.3) / / / / / / / / / / / /(8.2.2.4) / / / / / / / / / / / /(8.2.2.5) / / / / / / / / / / / /(8.2.2.S) / / / / / / / / / / / /(8.2.2.7) / / / / / / / / / / / /(8.2.2.8) / / / / / / / / / / / /(8.2.2.9) / / / / / / / / / / / /(8.2.2.9) / / / / / / / / / / / /(8.2.3.1) / / / / / / / / / / / /(8.2.3.2) / / / / / / / / / / / /(8.2.3.3) / / / / / / / / / / / /(8.2.3.4) / / / / / / / / / / / /(8.2.3.5) / / / / / / / / / / / /(8.2.3.S) / / / / / / / / / / / /(8.2.3.7) / / / / / / / / / / / /(8.2.3.8) / / / / / / / / / / / /(8.2.3.9) / / / / / / / / / / / /(8.2.4.1) / / / / / / / / / / / /(8.2.4.2) / / / / / / / / / / / /(8.2.4.3) / / / / / / / / / / / /(8.2.4.4) / / / / / / / / / / / /(8.2.4.5) / / / / / / / / / / / /(8.2.4.S) / / / / / / / / / / / /(8.2.4.7) / / / / / / / / / / / /(8.2.4.8) / / / / / / / / / / / /(8.2.4.9) / / / / / / / / / / / /(8.7.1.1) / / / / / / / / / / / /
Fuente: Elaboración propia
— 48 —
Instituto de Estudios Fiscales
Por otro lado, se verifica que el total de indicadores de resultado cumplen con las propiedades de pertinencia, coherencia, claridad y factibilidad.
Tabla 3.9.Evaluación propiedades teóricas de los Indicadores de Resultado del Eje de Asistencia Técnica del PO
Indicador(identificación) Pertinencia Coherencia Claridad Factibilidad
(A.1) / / / / / / / / / / / /
(A.2) / / / / / / / / / / / /
(A.3) / / / / / / / / / / / /
Fuente: Elaboración propia
Lo mismo ocurre en relación a los Indicadores de Resultado del Eje de Asistencia Técnica, donde el equipo evaluador también considera que el conjunto de indicadores propuesto cumple, en su totalidad, con las propiedades enunciadas.
Finalmente, cabe destacar que la evaluación en algunos casos de la definición de determinados indicadores es afirmativa hacia el programador, puesto que se han ceñido a los requisitos del RDC y el Reglamento del FSE, aunque, sin embargo, se detectan algunas objeciones que el equipo evaluador ha decidido contemplar en la presente evaluación:
Por ejemplo, si bien los indicadores de producto se ciñen al Reglamento, su definición resulta, en algunos casos, muy genérica, por lo que se recomienda una mayor especificación de éstos en relación al colectivo de jóvenes. En cualquier caso, y dada la magnitud del sistema de indicadores, así como por motivos de simplificación, el equipo evaluador ha valorado positivamente la propiedad asociada a estos indicadores.
Además, el equipo evaluador considera que algunos de los indicadores propuestos como indicadores de resultado, a nuestro entender, son indicadores de producto, ya que, por ejemplo, el hecho de haber participado en el POEJ no supone en sí un resultado. No obstante, también se ha evaluado que la propiedad correspondiente a estos indicadores se cumple totalmente puesto que los programadores, en cualquier caso, han seguido los requisitos reglamentarios.
3.2. Análisis de los objetivos finales propuestos
La propiedad práctica que el equipo evaluador ha revisado para esta batería de indicadores, teniendo en cuenta los requisitos reglamentarios, ha sido la del realismo de los valores previstos cua lifica dos'2. Esta propiedad lo que pretende valorar es si los valores cuantificados de los indicadores son realistas, habida cuenta de la ayuda prevista de los Fondos EIE. Este realismo ha de producirse tanto en los hitos propuestos por los Reglamentos como al final del período (metas).
3.2.1. Análisis de los hitos seleccionados para el Marco de Rendimiento
La información del Marco de Rendimiento para el POEJ se presenta en la siguiente tabla:
12 Artículo 55 del Reglamento (UE) N° 1303/2013, apartado 3, letra g).
— 49 —
Tabla 3.10.Marco de rendimiento por fondo y categoría de región
Ejeprioritario Fondo Categoría de región Indicador o etapa clave
de ejecuciónUnidad Hitos para 2018 Meta final (2023)
de medida, cuando proceda H M T H M T
Eje 1 (50) FSE Más Desarrolladas Indicador Financiero Ayuda euros - - 60.129.711 - - 233.154.508
Eje 1 (50) FSE Más Desarrolladas Desempleados, incluidos los de larga duración N° participantes 25.818 21.299 47.118 100.112 82.588 182.700
Eje 1 (80) FSE MenosDesarrolladas Indicador Financiero Ayuda euros - - 8.864.482 - - 14.446.790
Eje 1 (80) FSE En transición Indicador Financiero Ayuda euros - - 39.659.505 - - 149.843.210
Eje 1 (80) FSE Más Desarrolladas Indicador Financiero Ayuda euros - - 5.640.739 - - 24.593.082
Eje 1 (80)
Eje 1 (80)
Eje 1 (80)
FSE
FSE
FSE
MenosDesarrolladas
En transición
Más Desarrolladas
Desempleados, incluidos los de larga duración
Desempleados, incluidos los de larga duración
Desempleados, incluidos los de larga duración
N° participantes
N° participantes
N° participantes
240
7.362
2.154
196
7.366
2.162
436
14.728
4.315
391
27.814
9.390
319
27.832
9.426
710
55.646
18.815
Eje 1 (85) FSE En transición Indicador Financiero Ayuda euros - - 8.918.530 - - 28.535.850
Eje 1 (85) FSE En transición Desempleados, incluidos los de larga duración N° participantes 1.128 1.004 2.132 3.608 3.214 6.822
Eje 5 YEI No procede Indicador Financiero Ayuda euros - - 1.886.992.630 - - 1.886.992.630
Eje 5 YEI No procede Desempleados, incluidos los de larga duración N° participantes 476.050 413.845 889.895 476.050 413.845 889.895
Fuente: Programa Operativo de Empleo Juvenil
Instituto de Estudios Fiscales
Para la evaluación del realismo de los hitos y las metas establecidos para cada indicador del Marco de Rendimiento se hace uso de la tabla 3.11. A continuación de la misma, se destacan varios comentarios que complementan la información presentada en aquella.
Tabla 3.11.Evaluación del realismo de los hitos y metas del marco de rendimiento
Ejeprioritario Fondo Categoría
de regiónIndicador o etapa clave de ejecución
Unidad Hitos para 2018 Meta final (2023)de medida,
cuando proceda H M T H M T
Eje 1 (50) FSE MásDesarrolladas
IndicadorFinanciero Ayuda euros - - S Y S - - S Y S
Eje 1 (50) FSE MásDesarrolladas
Desempleados, incluidos los de larga duración
N° participantes S Y S S Y S
Eje 1 (80) FSE MenosDesarrolladas
IndicadorFinanciero Ayuda euros - - S Y S - - S Y S
Eje 1 (80) FSE En transición IndicadorFinanciero Ayuda euros - - S Y S - - S Y S
Eje 1 (80) FSE MásDesarrolladas
IndicadorFinanciero Ayuda euros - - S Y S - - S Y S
Eje 1 (80) FSE MenosDesarrolladas
Desempleados, incluidos los de larga duración
N° participantes S S S S S Y S S S S S S Y S
Eje 1 (80) FSE En transiciónDesempleados, incluidos los de larga duración
N° participantes S S S S S Y S S S S S S Y S
Eje 1 (80) FSE MásDesarrolladas
Desempleados, incluidos los de larga duración
N° participantes S S S S S Y S S S S S S Y S
Eje 1 (85) FSE En transición IndicadorFinanciero Ayuda euros - - S Y S - - S Y S
Eje 1 (85) FSE En transiciónDesempleados, incluidos los de larga duración
N° participantes S Y S S Y S
Eje 5 YEI No procede IndicadorFinanciero Ayuda euros - - S Y S - - S Y S
Eje 5 YEI No procedeDesempleados, incluidos los de larga duración
N° participantes S Y S S Y S
Fuente: Elaboración propia
En primer lugar, y teniendo en cuenta la información aportada por los programadores, el equipo evaluador ha valorado positivamente, tanto para los hitos de 2018 como para las metas de 2023, la aplicación de la metodología de costes medios utilizada por los programadores para el cálculo de los valores en dichos momentos. En líneas generales, la metodología consiste en estimar un coste medio del producto a partir de datos de períodos anteriores (en este caso del período 2007-2013) por regiones, y a partir de esos valores y de la asignación financiera para cada año del nuevo período, calcular cuántos productos se van a poder generar finalmente.
En segundo lugar, cabe destacar que el ritmo de las ejecuciones financieras es coherente con la evolución temporal del POEJ y, tal y como se puede comprobar en el capítulo relativo a la evaluación de la asignación financiera del Programa, el desarrollo de las mismas se produce de manera lineal a lo largo del tiempo, excepto en el caso de la Iniciativa de Empleo Juvenil donde la ejecución de los recursos se produce, en su totalidad, en los dos primeros años.
Por último, el equipo evaluador ha detectado, bajo la valoración del realismo de los hitos y metas diferenciando por género, que las previsiones se han hecho utilizando proporciones del período ante-
— 51 —
rior que no tienen por qué mantenerse en este nuevo período, ya que el mercado de trabajo y en especial desde el lado de la oferta, ha visto durante el período de la crisis una evolución clara en términos de género y, por tanto, esos porcentajes podrían no mantenerse durante el nuevo periodo de programación. Dicho de otra manera; suponer que en 2014 el porcentaje de hombres frente al de mujeres que van a recibir, por ejemplo, un curso de capacitación es igual que en 2007 puede no ser del todo acertado, ya que la crisis ha tenido un impacto claro en la estructura del mercado de trabajo según el género.
3.3. Análisis de procedimiento de seguimiento del programa, procesos de recogida de datos y evaluación
A lo largo de la ejecución del Programa Operativo, se establece la necesidad de valorar el seguimiento del mismo, así como evaluar su desarrollo para analizar su evolución en términos de eficiencia y consecución de los objetivos marcados. Los requisitos reglamentarios en lo que a todo lo anterior se refiere, quedan reflejados en el Título V del RDC, destacando el artículo 50 donde se plantea el deber de realizar, desde 2016 hasta 2023, un informe anual de ejecución que recoja los elementos clave para valorar la ejecución del mismo, tales como la evolución de los recursos financieros, los indicadores comunes y específicos del programa y los valores previstos cuantificados, incluidos, en su caso, los cambios producidos en los valores de los indicadores de resultados, así como los hitos definidos en el marco de rendimiento desde el informe anual de aplicación que deberá presentarse en 2017.
Asimismo, y en relación a estos procesos de seguimiento y evaluación, es necesario contar con un sistema de recogida de información que sea capaz de dar soporte a las actuaciones que se van a desarrollar en el PO.
En este sentido, se valora positivamente el desarrollo del sistema de información para la aplicación de la Garantía Juvenil, cuyo objetivo final es garantizar que todos los jóvenes menores de 25 años puedan recibir una buena oferta de empleo, educación continua, formación de aprendiz o período de prácticas en un plazo de cuatro meses tras acabar la educación formal o quedar desempleados.
Llegado este punto, es necesario indicar que todos los países de la Unión Europea están elaborando actualmente planes nacionales de aplicación de la Garantía Juvenil y la Comisión facilita el intercambio de buenas prácticas entre gobiernos de manera que experiencias positivas, como la de Finlandia, puedan transmitirse a países donde el desempleo juvenil es especialmente preocupante13.
Para finalizar, además de destacar la creación de esta base de datos desde el punto de vista de los indicadores, también es destacable el efecto positivo que tiene por el lado de la gobernanza.
CAPÍTULO IV. ASIGNACIONES FINANCIERAS
Uno de los objetivos de la UE, que cobra especial importancia para el periodo de programación 20142020, es el buen aprovechamiento de los recursos con los que se financia política de cohesión que permitan conseguir los grandes resultados relativos al crecimiento inteligente, sostenible e integrador. Como se pone de manifiesto en el artículo 55.3 apartado c), la evaluación ex ante debe analizar la coherencia de la asignación de recursos presupuestarios con los objetivos del programa. Esta acción permitirá analizar la adecuada distribución de los recursos como un determinante claro para el logro de los objetivos indicados en la programación.
La evaluación de las asignaciones financieras del POEJ se centra en analizar principalmente que el reparto de los Fondos EIE debe estar en consonancia con la estrategia planteada en la que se han identificado las inversiones prioritarias a partir del diagnóstico.
13 El sistema finlandés ha permitido que los planes personalizados para jóvenes se hayan elaborado más rápidamente y, a la larga, se haya reducido el desempleo.
— 52 —
Instituto de Estudios Fiscales
4.1. Análisis de la distribución Financiera
En este apartado se valora la distribución de todos los flujos financieros acorde a los ejes prioritarios y en función de los tipos de región que se contemplan en el programa operativo y en el Reglamento FSE14. Según el apartado de justificación financiera del propio Programa Operativo tiene una dotación a coste total de 2.826.330.836euros, pudiéndose observar también la asignación por región y eje.Lamentablemente, la información suministrada por parte del equipo de programación en el POEJ no se encuentra desagregada suficientemente como para poder realizar un análisis con mucha mayor riqueza. En el caso de haber podido disponer de información a nivel de Objetivo Específico, y no por Prioridad de Inversión, se hubieran podido realizar un conjunto de valoraciones mucho más enrique- cedoras.No obstante, partiendo de la información suministrada por la UAFSE con un grado de desagregación “Eje prioritario / Prioridad de inversión / Tipo de región” el equipo evaluador establece que es considerable la cuantía, que del total del programa representa lo destinado a la Iniciativa de Empleo Joven, recogida en el Eje prioritario 5 mediante la PI 8.2 y que tiene la mayor asignación, ya que supone un 72.7% del total del programa. Lo que permite asegurar que este programa conserva una coherencia financiera con la estrategia planteada y los hitos que persigue el Fondo Social Europeo para el período 2014-2020.Por otro lado, aunque la PI 8.2 está más que cubierta en el Eje 5, esta prioridad vuelve a recibir asignaciones monetarias bajo el Eje 1, destinadas fundamentalmente a aquellas acciones realizadas sobre la población de ninis que son indirectas, o a actuaciones que se realizarán más allá del periodo de vigencia de la Iniciativa de Empleo Joven. Además, este Eje cubre la prioridad de inversión 8.7 y aquí son las regiones más desarrolladas las que cobran una importancia financiera relevante, ya que suponen el 16% de toda la distribución del flujo monetario.Para llegar a estos resultados, se ha utilizado la información recogida en las diversas tablas que presenta el POEJ para la distribución de ayuda o subvención de la Unión y en coste total subvenciona- ble, estableciendo así la relación porcentual con el total, cada Eje Prioritario y las Prioridades de Inversión.En esta misma línea, y con el fin de observar la distribución financiera acorde a la estrategia contemplada por POEJ y su correspondencia con las recomendaciones del Consejo Europeo y los retos señalados por el “Position Paper de la Comisión Europea y la Estrategia UE 2020”, el equipo evaluador propone analizar la estructura del desempleo por tipo de región, que se definen en el Reglamento de Disposiciones Comunes N° 1303/2013 artículo 90.La información estadística de las tasas de desempleo se ha obtenido de la Encuesta de Población Activa, elaborada por el Instituto Nacional de Estadística, INE. Para el primer trimestre de 2014, este sólo ofrece la información del número de jóvenes parados y activos de entre 16 a 24 años y hasta 35 años, siendo imposible la desagregación de los datos para el rango contemplado en el POEJ de jóvenes que no estudian, ni trabajan entre 15 a 29 años. Aún así se han recogido lo datos en la siguiente tabla:
14 Reglamento N° 1304/2013 relativo al Fondo Social Europeo.
— 53 —
Tabla 4.1.Jóvenes parados y activos menores de 35 años por tipo de región
Fuente: Elaboración propia a partir de los datos del Instituto Nacional de Estadística de España, Encuesta de Población Activa, I trimestre de 2014.
Regiones
Menosdesarrollada Transitoria Más desarrolladas
Extre
mad
ura
Anda
lucí
a
Cana
rias
Casti
lla L
a-
Man
cha
Meli
lla
Regió
n de
M
urcia
Arag
ón
Princ
ipado
de
Astu
rias
Islas
Bale
are
s
Cant
abria
Casti
lla
y Le
ón
Cata
luña
Com
unid
adVa
lenc
iana
Galic
ia
Com
unid
ad
de M
adrid
Com
unid
adFo
ral
de N
avar
ra
País
Vasc
o
La R
ioja
Ceut
a
Menores de 35 años
Totalparados 16-34 63,7 574,6 141,6 137,4 3,9 77,0 63,7 43,8 61,1 24,3 98,1 352,4 282,7 119,5 294,0 26,5 72,0 10,6 5,8
Total activos 16-34 165 1345,2 345,6 336,2 11 234 191,9 132,6 187,3 75 314,9 1167,5 742,1 368,6 1011,7 88 268,4 43,6 12,0Tasa
desempleo 16-34 38,61% 42,7 40,9 40,8 35,4 32,91 33,19 33,0 32,6 32,4 31,1 30,1 38,1 32,4 29,0 30,1 26,8 24,3 48,3
Menores de 25 años
Totalparados 16-24 20,7 202 46,9 49,9 1,1 24,8 21,9 11,5 19,6 6,0 31,1 143,0 111,2 35,0 117,3 9,4 23,2 5,0 2,0
Total activos 16-24 38,2 322,5 85,9 79,2 2,3 52,8 40,3 24,1 36,9 12,1 62,6 288,7 177,4 70,8 216,9 18,7 46,3 9,9 3,1Tasa
desempleo 16-24 54,19% 62,6 54,6 63,0 47,8 46,9 54,3 47,7 53,1 49,5 49,6 49,5 62,6 49,4 54,0 50,2 50,1 50,5 64,5
Instituto de Estudios Fiscales
Agregando la información contenida aquí por el tipo de Región del nivel NUTS 2, se ha elaborado las dos siguientes Tablas:
Tabla 4.2.Agregación de Jóvenes parados y activos menores. Menores 25 años
Menores de 25 añosMenos des
arrollada En transición Más desarrolladas
Total parados16-24años 20,70 324,7 536,2
Total activos16-24años 38,20 542,7 1.007,8
Tasa desempleo por región
16-24años 54,19% 59,83% 53,21%
Tabla 4.3.Agregación de Jóvenes parados y activos menores. Menores 35 años
Menores de 35 añosMenos des
arrollada En transición Más desarrolladas
Total parados 16-34 años 63,70 934,50 1.454,5
Total activos 16-34 años 165,00 2.272,00 4.603,6
Tasa desempleo por región 16-34 años 38,61% 41,13% 31,59%
Fuente: Elaboración propia a partir de los datos del Instituto Nacional de Estadística de España, Encuesta de Población Activa, I trimestre de 2014.
La metodología de cálculo para elaboración de la tasa de desempleo para menores de 35 y 25 años agregada ha sido relativamente sencilla puesto que se han sumado los valores de cada Comunidad Autónoma según el tipo de región y el rango de edad, en cada tipo de situación laboral y se han dividido entre sí, consiguiendo el total de parados entre los activos totales en cada región, correspondientemente.
El objetivo principal de la observación de la tasa de desempleo por regiones es establecer si hay una clara correlación entre ésta y la dotación financiera, puesto que supone una importante característica a la hora de evaluar la coherencia financiera y el reparto entre las regiones. El equipo evaluador no ha logrado encontrar una distribución financiera evidente relacionada al peso de los desempleados jóvenes (teniendo en cuenta la distorsión por edad de los datos recogidos15) y sí ha conseguidoobte- ner que la distribución no se aleja mucho de la realidad de los datos, observando valores similares para jóvenes entre 16 y 34 años, puede verse un reparto más lógico.
Sin embargo, es destacable que aunque la objetividad del reparto a través de este sistema puede ser muy eficiente y coherente, no es en realidad una metodología recomendable para que se haya programado teniéndola en cuenta así; teniendo en cuenta que los datos presentan como inconveniente el que no comprenden la totalidad de población objetivo que tiene el POEJ, los jóvenes de 15 a 29 años, explícitamente. Ante este problema proveniente de la información se da como positiva la distribución financiera que establece el programa.
Finalmente indicar que el equipo evaluador también ha tenido en cuenta que la clasificación de las Comunidades Autónomas no es uniforme por tipo de región, por lo que en caso de dos tipos de regiones distintas con una tasa parecida de desempleo juvenil puede suponer la exhibición de un problema en términos de programación, que puede ser solventado teniendo en cuenta más criterios que permitan un reparto más equitativo y coherente, de tal manera que resultaría muy recomendable que
15 La población objetivo del POEJ son jóvenes entre 15-29 años, los datos del INE no recogen esta muestra específicamente.
— 55 —
estos criterios se tuvieran presentes a la hora de establecer la asignación y ejecución dentro de cada tipo de región vista la disparidad de los datos en cada Comunidad Autónoma.
4.2. Coherencia de las asignaciones financieras en función de las debilidades
La esencia de cualquier PO viene dada por la adecuada distribución de recursos financieros a una estrategia clara y previamente identificada, de manera que de acuerdo al Artículo 55,3,c), la evaluación ex ante valorará “la coherencia de la asignación de recursos presupuestarios con los objetivos del programa”. Por lo tanto, se pretende comprobar si el presupuesto que se asigna a cada eje hará posible la consecución de los objetivos; es decir, si los ejes que resultaban más adecuados para atender los objetivos principales en la estrategia, resultan ser los que reciben más recursos.
Por lo tanto, en esta apartado de la evaluación ex-ante se valora la coherencia entre las asignaciones de recursos presupuestarios y las prioridades establecidas en la estrategia. En concreto, se examina si las asignaciones financieras se concentran en los objetivos más importantes en consonancia con los desafíos y las necesidades identificadas para el país. Para ello se ha procedido a crear un gráfico donde se relacionan las prioridades detectadas en términos de Ejes y la asignación financiera que estos reciben.
A partir del DAFO proporcionado por el equipo de programación, se determinó un cierto orden de importancia16 para cada uno de los Ejes Prioritarios. La figura mostrada a continuación ofrece el análisis de coherencia, y para la correcta interpretación del gráfico se debe tener en cuenta por un lado que el eje vertical de la figura mide para cada Eje Prioritario, su importancia estratégica dentro de la DAFO del POEJ, y por otro, que el volumen de cada esfera representa el porcentaje de financiación que recibe del presupuesto total. Lo deseable en términos de coherencia en las asignaciones financieras, es que las esferas más voluminosas se encuentren situadas en la parte superior del gráfico, indicando de esta manera que se ha dotado en mayor medida a los OE más estratégicos.
Figura 4.4:Importancia estratégica de los Ejes Prioritarios del POEJ y la participación en la asignación financiera
Fuente: Elaboración propia a partir de los datos financieros del Programa Operativo Empleo Juvenil 2014-2020.
El análisis conjunto de esta priorización y de los recursos económicos destinados a cada uno de ellos, permite señalar que, en términos generales, hay una buena consistencia entre las asignaciones financieras y el carácter estratégico de cada Eje Prioritario del POEJ.
Por tanto, se puede demostrar cómo el Eje 5, es la parte principal del programa operativo y recoge la mayor dotación para combatir el principal problema que articula toda la estrategia del mismo, el desempleo juvenil. Seguido del Eje 1, cuyos objetivos específicos persiguen medidas para preparar el
16 Los criterios fundamentales para adjudicar este grado de importancia han sido el nivel de disparidades estructurales respecto a la UE (Zona Euro) y el aumento de las mismas por el impacto de la crisis.
— 56 —
Instituto de Estudios Fiscales
espacio y la capacidad técnica de las administraciones para las acciones directas sobre los jóvenes desempleados o “nini”, se podría decir, que son medidas enfocadas en “preparar el terreno” a las más enfocadas en la estrategia.
En último lugar, indicar que la mínima importancia del Eje 8 es debido a que son todo medidas propias de la Asistencia Técnica. Teniendo en cuenta todos estos resultados, se puede confirmar que el programa salvaguarda una buena distribución respecto a la coherencia financiera del gasto.
4.3. Coherencia de las asignaciones financieras: Análisis según Amenazas
Habitualmente, el análisis de posibles riesgos de ejecución financiera se suele realizar con el objeto de identificar actuaciones que pueden ofrecer una mayor complejidad para su correcta ejecución. Para ello, el modo más habitual consiste en valorar aquellas actuaciones que, dada su similitud con la programación 20072013, tuvieron problemas de capacidad de absorción financiera o de otro tipo. El objetivo es poder identificarlas prioridades sobre las que habrá de establecer un cuidado particular en su seguimiento.
Para el análisis de las amenazas y riesgos financieros, el equipo evaluador ha considerado dos tipos de valoraciones distintas: por un lado se analiza cómo el PO ataca las principales debilidades detectadas, y por otra parte, observando los problemas existentes en la absorción en el periodo anterior, se analiza la evolución temporal de gasto propuesta en el periodo 2014-2020.
Comenzamos con el primer tipo de valoración, que analiza cómo el programa ataca a las principales debilidades del programa operativo, a través de la distribución del gasto por Eje, Prioridad y Objetivo Específico.
Para poder contrastar la coherencia en la distribución de toda la dotación, según el programa, se analizan los porcentajes sobre el coste total por Eje prioritario, ya que no se puede desagregar por cada Objetivo Específico, puesto que el Programa Operativo no recoge la distribución a este nivel. Así de esta manera, se cruzan los Objetivos específicos relacionados con una característica principal común a diversas debilidades, de manera que permita agregar cada debilidad según el problema principal que demuestre.
Acorde al reparto por E.P., se establece la relación que tienen a través de las Prioridades de inversión, y a su vez las medidas que tienen cada una de ellas, para afrontar las debilidades que se plantean. Este cruce de debilidades y Objetivos, permite obtener el porcentaje que se destina a cada característica principal y por tanto, a diversas debilidades.
Para simplificar el análisis de la siguiente tabla, las distintas debilidades mostradas en el DAFO del PO se han agregado por características comunes (columna 2 de la tabla), de tal forma que los resultados obtenidos son los mostrados a continuación:
Tabla 4.4.Coherencia de las asignaciones financiera a partir de las debilidades
del análisis DAFO y los objetivos específicos
Característica
Objetivos específicos relacionados
Objetivosespecíficos
relacionadosEjes
Relacionados
% deasignación
del eje sobre el
total
Debilidades principal de la debilidad 8.2.1 8.2.2 8.2.3 8.2.4 8.7.1
D1.Desempleo
X 8.2.4 Eje 5 73%
D5. X 8.2.4 Eje 5 73%
D2 Destrucción X 8.2.4 Eje 5 73%
D3. de empleo X 8.2.4 Eje 5 73%
(Sigue)
— 57 —
(Continúa)
DebilidadesCaracterística
principal de la debilidad
Objetivos específicos relacionados
Objetivosespecíficos
relacionadosEjes
Relacionados
% deasignación
del eje sobre el total8.2.1 8.2.2 8.2.3 8.2.4 8.7.1
D4. X 8.7.1 Eje5/Eje1 73%+26%Incentivo al
D10. trabajador X X X 8.2.1/8.2.2/ 8.7.1 Eje5/Eje1 73%+26%
D12. X X 8.2.1/ 8.2.3 Eje 5 73%+26%
D6. X 8.2.2 Eje 5 73%
D7. Formación- X 8.2.2 Eje 5 73%
D8. Capital X 8.2.2 Eje 5 73%
D9.Humano
X X 8.2.2/ 8.7.1 Eje5/Eje1 73%+26%
D11. X X 8.2.2 /8.7.1 Eje5/Eje1 73%+26%
Fuente: Elaboración propia a partir de los datos financieros del Programa Operativo Empleo Juvenil 2014-2020.
Como muestra la tabla, varias debilidades reciben el 99% de la financiación, principalmente las cubiertas por el Objetivo específico 8.2.4, que ataca principalmente las amenazas sobre el desempleo juvenil, la empleabilidad de población “nini” y de larga duración y la destrucción actual de puestos de trabajo.Es resaltable la sinergia entre los Ejes 5 y 1, dado que atacan las debilidades propias del sistema educativo y formativo, las condiciones laborales, empleo y emprendimiento para la población menor de 25 años, con gran cantidad de iniciativas que incentivan la formación y el autoempleo juvenil.Por lo que se refiere a la distribución temporal de los flujos financieros, de acuerdo a la información recogida en el Plan de Financiación del Programa Operativo, el reparto a lo largo del periodo de toda la ayuda se hará de una manera diferenciada para la Iniciativa de Empleo Juvenil IEJ, IEJ-FSE y el resto de la ayuda FSE.
EL programa establece que para todas las medidas de la IEJ y IEJ-FSE se realizará en el bienio 2014-2015, siguiendo la normativa de la IEJ y persiguiendo la prioridad de inversión 8.2, actuando con su correspondiente N+3, con medidas directas sobre la población objetivo del programa.
Atendiendo a esto, se ha podido elaborar el siguiente gráfico para mostrar la distribución del gasto en las diferentes regiones cada año entre el periodo 2014-2020.
Figura 4.2:Evolución temporal de la asignación financiera.
Distribuciónacumulada relativa (izquierda) y en valores absolutos (derecha)
Fuente: Elaboración propia a partir de los datos financieros del Programa Operativo Empleo Juvenil 2014-2020.
— 58 —
Instituto de Estudios Fiscales
De acuerdo al diseño de la IEJ, la evolución temporal muestra que debe estar plenamente implemen- tada en los dos primeros años ya que persigue un impacto decisivo que pretende poner freno al paro Juvenil y la situación de los “ninis” en España. Por lo que se refiere al resto de acciones, se observa que, a diferencia de la IEJ, que a partir de los dos primeros años desaparece, la tendencia a lo largo del tiempo es constante, pero en valores mucho menores que los observados en la IEJ.
Como recomendación por parte del equipo evaluador, observando la posible aparición de riesgos de absorción financiera por lo que respecta a la IEJ, es necesario reducir en lo posible todas las restricciones, administrativas o de cualquier tipo, que garanticen los niveles de ejecución financiera propuestos por parte del equipo de programación.
CAPÍTULO V. GOBERNANZA
5.1. Introducción
El art. 5 del Reglamento de Disposiciones Comunes establece que para el desarrollo de los Programa Operativos, se debe organizar una asociación con las autoridades regionales, locales y urbanas y otras autoridades públicas competentes, los interlocutores económicos y sociales y los organismos que representen a la sociedad civil17. Esta asociación debe estar presente no sólo en la preparación inicial de los programas sino durante su ejecución, seguimiento y evaluación. El reglamento hace mención también a las nuevas medidas para el periodo 2014-2020 que buscan la máxima eficiencia en la intervención de los Fondos EIE, tales son: la concentración de recursos, la reducción de cargas administrativas y la simplificación, la proporcionalidad en las asignaciones financieras, la descentralización y la incorporación de agentes privados al tramo nacional, y el uso de instrumentos financieros que consigan un efecto multiplicador de las acciones planificadas.
El equipo evaluador se dedicó a verificar el cumplimiento de todos estos principios que durante los trabajos de elaboración del POEJ se han venido desarrollando así como también de los preceptos enunciados en el Código de Conducta del Partenariado.
La metodología empleada ha sido la observación del modelo de gestión desarrollado en el POEJ, los recursos humanos asignados para desarrollar su labor y el análisis y verificación de los mecanismos de comunicación con otros agentes sociales, grupos de interés, organismo intermedios, etc., existentes en el proceso de programación del POEJ por lo que se presenta un cuadro resumen del análisis de cumplimiento de los principios de "Buen Gobierno" del Libro Blanco de la Gobernanza europea.
Como resultado, el equipo evaluador concluye que los principios de Gobernanza se cumplen y están presentes en la elaboración del POEJ, tanto en las justificaciones de las condiciones ex ante, en las asignaciones financieras, así como en la estrategia a desarrollarse en todo el periodo.
5.2. Evaluación de la Gobernanza: Análisis de buenas prácticas
En esta sección se pretende valorar los cambios propuestos por la Comisión que afectan al diseño y la ejecución de la Política de Cohesión 2014-2020, y por ende al modelo de gestión y desarrollo del POEJ. Entre los cambios esenciales se pueden destacar:
— La concentración de recursos y la simplificación, para que España simplifique el modelo actual de gestión al reducir el número de programas operativos y organismos intermedios,
— La descentralización, con el fin de conseguir un modelo de gestión más distribuido, con mayor protagonismo de las regiones,
— Eficiencia en la gestión, mediante la implantación de soluciones de e-Gobierno,
17 Incluidos los interlocutores medioambientales, las organizaciones no gubernamentales y los organismos encargados de promover la igualdad y la no discriminación.
— 59 —
— Reducción de cargas y mejora de la capacidad administrativa,
— La posibilidad de incorporar agentes privados en la aportación del tramo nacional y
— Mayor uso de instrumentos financieros para facilitar las inversiones y compensar el ajuste presupuestario de las Administraciones.
Los Reglamentos establecen que las regiones más desarrolladas o en transición están obligadas a incorporar el principio de concentración en su programación. En España, para el periodo 2014-2020, todas las regiones, salvo Extremadura, se sitúan entre las regiones más desarrolladas o en transición. En el caso del FSE, el principal reto es la lucha contra el desempleo, especialmente el desempleo juvenil, con el apoyo de la Iniciativa de Empleo Juvenil que tiene una dotación de 2.000 millones de euros. En este punto también resulta conveniente destacar que el concepto de concentración también se aplica en este PO en términos temporales. El Eje Prioritario 5, asociado a acciones directas sobre jóvenes ninis, se debe desarrollar en los dos primeros años del periodo de programación, es decir años 2014 y 2015 (con un N+3) lo que obligará sin lugar a dudas, a realizar un esfuerzo de concentración de actuaciones en un periodo de corto de tiempo.
Por lo que se refiere a la reducción de cargas administrativas, el artículo 55,3 párrafo n) establece que la evaluación ex ante deberá “valorar las medidas previstas para reducir la carga administrativa a los beneficiarios”. Analizando el documento remitido por el equipo de programación, la sección 10 (apartado 5) del mismo describe todo un catálogo de medidas que se están llevando a cabo, o se implantarán, dentro de la UAFSE para la reducción de cargas administrativas y la simplificación de la gestión del Fondo Social, que implicara a su vez una reducción de los correspondientes costes administrativos en relación con la ejecución de los mismos (así como la reducción del número de organismos intermedios).
A pesar del trabajo que se está realizando, el equipo evaluador considera que este es uno de los elementos claves en los que se debe intensificar los esfuerzos, ya que debido a la propia arquitectura institucional española, con múltiples niveles de gobierno y un elevado índice de descentralización y desconcentración, harán que estos mecanismos no sean fáciles de implementar.
Otros de los criterios a tomar en cuenta en la programación es la participación de los agentes privados en el tramo nacional. Analizando el plan de financiación ofrecido por el equipo de programación se observa que se han tomado en consideración esta posibilidad con una participación en la financiación del PO por parte de agentes privados nacionales de 13 millones de euros. Cantidad, que al compararla con el resto de montos resulta testimonial, aunque desde el equipo evaluador se valora muy positivamente la inclusión del sector privado en la financiación y promovemos que se continúe en esta línea.
La utilización de los instrumentos financieros obtienen una gran relevancia en el período 2014-2020 y como se menciona en el Acuerdo de Asociación, España hará uso de ellos en el próximo período de programación, aprovechando la experiencia acumulada en el período 2007-2013 a través de entidades como el Instituto de Crédito Oficial (ICO) o el Centro de Desarrollo Tecnológico Industrial (CDTI) en la Administración central, así como por parte de varias CCAA y esto se puede aplicar también para el caso concreto del POEJ.
Por lo que se concluye que el principio de proporcionalidad, reducción de cargas administrativas, la participación de los agentes privados y la utilización de instrumentos financieros se encuentran presente en la elaboración del POEJ, tanto en las justificaciones de las condiciones ex ante, en las asignaciones financieras, así como en la estrategia a desarrollarse en todo el periodo.
5.3. Evaluación de los RR.HH. y de la capacidad administrativa
Teniendo en cuenta el gran volumen de financiación, que implicarán un gran número de acciones, es necesario garantizar que la administración pública tenga suficiente estructura administrativa que permita facilitar, controlar y evaluar todas las actividades que se realizarán. Esta cuestión de la capacidad administrativa es de especial relevancia en este PO, ya que en 2 años debe realizar una implementación masiva de la Iniciativa de Empleo Joven, compuesta por 2,000 millones de euros. Finalmente, el artículo 55, 3) párrafo i) establece que la evaluación ex ante deberá “valorar la adecua-
— 60 —
Instituto de Estudios Fiscales
ción de los recursos humanos y de la capacidad administrativa para la gestión del programa”. Por estos motivos, este apartado se dedica a analizar esta característica operativa referente a recursos de la administración del estado.Para poder valorar de manera correcta los recursos disponibles, es de gran interés conocer el volumen de acciones que tienen que soportar estas estructuras en donde la contribuyen en la elaboración y el desarrollo del POEJ aportaciones de los organismos intermedios, públicos o privados.En términos organizacionales, las tareas principales que han de desarrollarse en el FSE y por tanto en el desarrollo del POEJ son las de programación, gestión, certificación y pagos, evaluación, auditoría y difusión.La descripción de estas funciones es común a los demás programas operativos y pueden consultarse en detalle en la evaluación ex ante del Acuerdo de Asociación, por lo que sólo es necesario recalcar la importancia del cumplimiento de los principios de gobernanza en todas las etapas ya que es un elemento primordial para el buen desarrollo del POEJ.Por tanto, a este respecto el equipo evaluador detecta que los recursos humanos que pueden destinarse al desarrollo de la programación del período 2014-2020 en general, son correctos, aunque no abundantes, por lo que se recomendaría incrementar la plantilla en lo posible, con el objeto de mejorar la eficacia y calidad de todas aquellas obligaciones que tienen establecidas. La heterogeneidad está presente en sus asignaciones ya que los recursos humanos asignados a sus labores propias no siempre tienen dedicación exclusiva. Además debe tenerse en cuenta que algunas de las tareas que han de desarrollarse, son llevadas a cabo a partir de Organismos Intermedios y Asistencias Técnicas.
5.4. Comunicación y coordinación. La aplicación del principio de partenariado
Para ello el equipo evaluador responde a las preguntas: ¿quién ha participado? (descripción de los participantes), ¿cuándo? (a través de las reuniones que han celebrado) y ¿cómo?, identificando las conexiones entre los agentes involucrados
Tabla 5.1.Esquema de la evaluación del partenariado para el POEJ
— 61 —
— Consejo de la Juventud de España— Organizaciones empresariales: CEOE y CEPYME— Organizaciones sindicales: UGT y CC.OO— Asociaciones representativas de la Economía Social y del trabajo
autónomo— Cámaras de comercio
¿Quién ha participado?Lista de los
partners consultados:
— Asociaciones de jóvenes empresarios como CEAJE— CC.AA y ciudades autónomas de España— Ministerio de Educación, Cultura y Deporte.— Banco Europeo de Inversiones;— Centro Superior de Investigaciones Científicas;— Instituto de la Juventud;— Consejo Superior de Cámaras de Comercio;— Fundación Secretariado Gitano, Cruz Roja, Fundación ONCE y Cáritas;— Fundación Incyde;— Instituto de Comercio Exterior;— Confederación Española de Centros de Enseñanza;— Red de Fundaciones Universidad Empresa.— Dirección General del Trabajo Autónomo,— Economía Social y la Responsabilidad Social de las Empresas
(DGSTAYRSE)
— Interlocutores sociales en España
— Organizaciones no gubernamentales: Cruz Roja; Fundación ONCE; Cáritas y Secretariado Gitano.
— Grupo Permanente de Trabajo de la Red de políticas de Igualdad: Organismos de igualdad de Murcia y La Rioja y del Instituto de la Mujer
— Subdirección General de Igualdad de Trato y no Discriminación del Ministerio de Sanidad, Servicios Sociales e Igualdad.
— Principales organizaciones ecologistas: WWF y Seo Birdlife
— Instituto de Estudios Fiscales
— 16 de abril de 2013, 7 de mayo de 2013 y 14 de octubre de 2013: Reuniones con las CC.AA
— 13 de marzo de 2014 y 30 de abril: Reuniones bilaterales con todas las comunidades autónomas relativas a la programación 2014-2020 y al Programa Operativo de Empleo Juvenil.
¿Cuándo?Principales reuniones que han
tenido lugar en las que participaron los agentes
en el proceso de elaboración del POEJ
—
—
—
18 de diciembre de 2013: Conferencia Sectorial de Empleo y Asuntos Laborales
19 de diciembre de 2013: Plan Nacional de Implantación de la Garantía Juvenil presentado a la Comisión Europea
24 de marzo y 28 de abril de 2014:Reuniones del grupo de trabajo.
— 5 de febrero de 2014: Reunión con los principales organizaciones ecologistas
— 27 de febrero de 2014: Grupo Permanente de Trabajo de la Red de políticas de Igualdad
— Reuniones de carácter periódico con la mayoría de las entidades.
¿Cómo?
— Por un lado, en la programación se ha aplicado el principio de parte- nariado a través de reuniones de la UAFSE con los partners especificados arriba y propios del desarrollo del POEJ y, por otro, en la fase de evaluación, a través de reuniones de la UAFSE con el Instituto de Estudios Fiscales, encargado de elaborar la evaluación ex ante del Programa Operativo de Empleo Juvenil.
Fuente: Elaboración propia
5.5. Resumen de evaluación de Gobernanza
Por último, y a modo de resumen, se presenta un cuadro con las características de la intervención del POEJ evaluando el cumplimiento de los principios de “Buen Gobierno” siguiendo las líneas del Libro Blanco de la Gobernanza europea antes mencionadas.
Tabla 5.2.Evaluación de propiedades de la buena gobernanza
C a ra c te r ís t ic a s N iv e l d e e v a lu a b ilid a d
Apertura: La intervención del POEJ impone a las instituciones trabajar de forma más abierta, presenta una comunicación activa, lenguaje más accesible y medidas que conduzcan a la confianza Alta
de los ciudadanos en la institución.
(Sigue)
— 62 —
Instituto de Estudios Fiscales
(Continúa)
Características Nivel de evaluabilidad
Participación: Se entiende que la calidad, la pertinencia y la eficacia de la intervención exigen una amplia participación
ciudadana tanto en la fase de formulación como de implementación y evaluación.
Alta
Responsabilidad: El POEJ exige la clarificación del papel de cada una de las instituciones que intervienen en la toma de decisiones. Alta
Eficacia: El POEJ requiere que las medidas adoptadas produzcan los resultados buscados sobre la base de unos objetivos claros,
de una evaluación de su futuro impacto y en su caso de la experiencia acumulada.
Alta
Coherencia: El POEJ exige que acciones sean coherentes y fácilmente comprensibles. Alta
Fuente: Elaboración propia
CAPÍTULO VI. PRINCIPALES CONCLUSIONES DE LA EVALUACIÓN EX ANTE DEL POEJ
6.1. Introducción
En este apartado se presentan las principales conclusiones y recomendaciones planteadas por parte del equipo evaluador con el fin de mejorar la calidad del Programa Operativo de Empleo Juvenil, que se ha elaborado en paralelo con éste y que recoge información detallada de todo el proceso de evaluación, las recomendaciones concretas que se han elaborado a medida que se iban desarrollando los documentos del Programa Operativo y las aportaciones a la programación del equipo evaluador.
La evaluación ex ante del POEJ se ha desarrollado por parte del Instituto de Estudios Fiscales (IEF18), organismo autónomo del Ministerio de Hacienda y Administraciones Públicas, que realiza, entre otros, trabajos de evaluación de políticas públicas.
El presente apartado se estructura de acuerdo a los principales pilares de la evaluación ex ante, es decir, la evaluación de la estrategia de actuación; el sistema de indicadores, seguimiento y evaluación; el planteamiento financiero y el análisis de la gobernanza del propio Programa Operativo.
En cada capítulo se hace referencia a los requisitos reglamentarios exigidos en materia de evaluación ex ante, la metodología seguida para el análisis de la cuestión y las principales conclusiones a las que llega el equipo evaluador.
6.2. Estrategia de actuación
La evaluación de la estrategia del programa operativo se divide en diferentes secciones:
a) Análisis del Diagnóstico y lecciones aprendidas
Aunque el RDC no establece de manera obligatoria la realización de un análisis DAFO para los programas operativos, el equipo evaluador considera que es muy recomendable la creación de éste, ya que se trata de una herramienta analítica que contribuye al pensamiento estratégico, y permite ayudar a la unidad de programación a encontrar sus factores estratégicos críticos.
18 http://www.ief.es
— 63 —
El éxito de cualquier intervención pública parte de la elaboración de un diagnóstico correcto de la situación que afronta. En las fases iniciales de creación del POEJ se presenta la evolución y situación actual de los jóvenes en España, sin la presencia de un análisis DAFO.
Con el objetivo de profundizar en el análisis de esta situación, el equipo evaluador desarrolla y propone un diagnóstico de la situación de los jóvenes, en especial de aquellos que ni estudian ni trabajan (ninis) en los que se centra este Programa Operativo, planteando un análisis DAFO. Este análisis ha sido tenido en cuenta por parte del equipo de programación en las siguientes versiones del PO.
En este sentido, y con el objetivo de tener una visión más minuciosa de la situación inicial, el equipo evaluador considera que el análisis DAFO presentado es completo y refleja correctamente las principales características donde se enclava el POEJ. Como recomendación por parte del equipo evaluador estaría el ser algo más preciso en ciertos elementos propuestos en la DAFO, y sustentar todas las afirmaciones que en él aparecen con un análisis descriptivo previo.
Por lo que se refiere a las lecciones aprendidas en periodos anteriores, el artículo 55, apartado 3, a) del Reglamento de Disposiciones Comunes establece que las evaluaciones ex ante valoraran las enseñanzas extraídas de los periodos de programación anteriores.
Así, el equipo de programación ha tenido en consideración las propuestas realizadas por parte del equipo evaluador incluyendo este apartado en su programación, obteniendo enseñanzas en la gestión del periodo 2007-2013 que sería conveniente tener en consideración en la preparación del periodo actual referentes a:
— Simplificación y racionalización de procedimientos.
— Evitar solapamientos de actuaciones.
— Mejora de los sistemas de gestión y control.
— Favorecer la utilización de instrumentos financieros.
b) Pertinencia de la EstrategiaUno de los elementos más importantes en la evaluación ex ante de un PO es el estudio de la estrategia del programa, siendo el propósito de esta sección el mejorar y fortalecer la calidad del Programa Operativo mediante el establecimiento de la estrategia de programación lo más adecuada posible.Con ello, se da cumplimiento a la exigencia del artículo 55, apartado 3, a) del Reglamento de Disposiciones Comunes donde se señala la necesidad de valorar la contribución a la estrategia de la Unión para un crecimiento inteligente, sostenible e integrador, habida cuenta de los objetivos temáticos y las prioridades seleccionados y teniendo presentes las necesidades nacionales y regionales y el potencial de desarrollo.La metodología planteada se basa en analizar el nivel de intensidad con el que cada una de las prioridades y líneas de acción propuestas se relaciona con los resultados del análisis DAFO. Para ello, se construye un "marco" que verifica como las prioridades y líneas de acción del PO se corresponden con los desafíos que trata de afrontar este Programa. Para hacer este análisis de la pertinencia, el equipo evaluador diseña una matriz donde, de una forma clara se puede apreciar la existencia (o no) de vínculos entre el análisis DAFO realizado y las prioridades establecidas por parte del equipo de programación del POEJ.El grado de pertinencia de la estrategia de inversión alude a la capacidad del conjunto de objetivos específicos del PO en afrontar las debilidades, o en potenciar las fortalezas más determinantes que han sido observadas en el ámbito del mismo a lo largo de la elaboración del DAFO. Por tanto, relaciona, por un lado el impacto potencial de la estrategia de inversión sobre cada debilidad (fortaleza), y por otra parte la importancia de la misma.Este indicador, por tanto, aumenta si existe una buena correspondencia o proporcionalidad entre la importancia real de cada debilidad (fortaleza) y el impacto esperado (potencial) de la estrategia de inversión sobre ella. Si el mayor impacto de la estrategia de inversión se centra en las debilidades (fortalezas) prioritarias y el menor en las medias, el grado de pertinencia de la estrategia será alto y disminuirá en la medida que no se dé la correspondencia señalada.
— 64 —
Instituto de Estudios Fiscales
Gráfico 6.1:Pertinencia de la estrategia de inversión del PO
Debilidades Fortalezas
Debilidad 1 Tasa de desempleo alta a pesar de la caída de la tasa de actividad Fortaleza 1 Recuperación del consumo interno
favorecerá la creación de empleo
Debilidad 2Empleo juvenil destruido hombres de la construcción y de la industria
manufacturera. En el caso de las mujeres, procede sector servicios
Fortaleza 2
Reconocimiento por parte de las personas jóvenes de la importancia de
la educación y formación. La escasez de oportunidades laborales ha propiciado
un retorno a la formación y una disminución de abandono escolar.
Debilidad 3Destrucción de empleo juvenil centrado
en trabajadores con menores niveles de educación reglada
Fortaleza 3 Importancia de la familia como red social y de apoyo
Debilidad 4 Condiciones de trabajo del empleo juvenil son muy precarias: Fortaleza 4
Mejores niveles en competencias transversales que el resto de la población activa (idiomas, uso de las tecnologías,
adaptación al cambio, etc.)
Debilidad 5 Aumento del desempleo de larga y muy larga duración Fortaleza 5 Diferencias de género en relación
con el mercado de trabajo se reducenDebilidad 6 Bajo conocimiento de idiomas extranjeros
Debilidad 7 Escaso peso relativo de la Formación Profesional de grado medio
Debilidad 8 Importante número de jóvenes que en la actualidad no estudia ni trabaja "ninis"
Debilidad 9En “ni-ni” principalmente niveles
de estudios bajos, pero los universitarios también presencia significativa,
especialmente en mujeres.
Debilidad 10 Jóvenes con menores niveles de educación son los que menos se forman
Debilidad 11 Elevadas tasas de abandono escolar
Debilidad 12 Escasa iniciativa emprendedora y bajos niveles de autoempleo juvenil
Fuente: Elaboración propia
— 65 —
Observando los resultados del análisis de pertinencia, la adecuación de los objetivos específicos a los principales retos observados en este P.O es alta. Se produce una correspondencia positiva entre las principales debilidades y fortalezas identificadas en el análisis DAFO y los impactos potenciales que cabe esperar de los objetivos específicos y prioridades de inversión.
c) Coherencia externa de la Estrategia
La evaluación de la coherencia externa queda recogida a nivel reglamentario por el artículo 55, apartado 3, a) del Reglamento de Disposiciones Comunes donde se señala que la evaluación ex ante debe valorar la contribución del PO a la estrategia de la UE para un crecimiento inteligente, sostenible e integrador, mientras que en el apartado 3, d) indica que la evaluación ex ante deberá analizar la coherencia de los objetivos seleccionados con otros instrumentos pertinentes a nivel regional, nacional y de la UE, como son documentos estratégicos y políticas relacionados con el ámbito de actuación del PO.
Por ello, y una vez que la matriz de pertinencia del PO muestra y corrige el vínculo entre los retos y las necesidades, el siguiente paso consiste en realizar un análisis detallado sobre la coherencia entre aquello “que se quiere hacer” con aquello “que se puede hacer” -. En este sentido, se revisa, a través de matrices, las relaciones entre las Prioridades y Objetivos del programa propuesto y las grandes líneas políticas y estratégicas existentes a dos diferentes niveles de gobierno:
— A nivel de la Unión Europea:
- Estrategia UE 2020.
- Objetivos de la estrategia para España. Position Paper de la Comisión Europea.
— A nivel nacional:
- Acuerdo de Asociación del Periodo 2014-2020.
- Programa Nacional de Reformas 2013.
- Estrategia de emprendimiento y empleo joven 2013-2016.
- Plan Nacional de Implantación de Garantía Juvenil.
La evaluación muestra que el PO es coherente parcialmente con las estrategias europeas, dado que menos de la mitad de los objetivos de la estrategia EU 2020 y los indicados en el Position Paper se ven cubiertos por los Objetivos Específicos de este Programa Operativo, mientras que para el caso nacional, por lo que se refiere al Plan Nacional de Reformas hay solapamiento en dos ejes pero la relación con el Acuerdo de Asociación es muy importante por constituir la parte del Objetivo Temático 8 destinada a jóvenes. Además, la coherencia es notable con las otras dos estrategias nacionales, que tienen un marcado perfil de mercado laboral.
d) Coherencia interna de la Estrategia
El análisis de la coherencia interna tiene como fin detectar las sinergias entre los objetivos específicos del PO, esto es, medir el grado en que unos objetivos influyen sobre los otros para alcanzar el logro general de la intervención.
A nivel reglamentario, el artículo 55 apartado 3, b) exige la valoración por parte del equipo evaluador de la coherencia interna del programa o de la actividad propuesta y su relación con otros instrumentos pertinentes.
— 66 —
Instituto de Estudios Fiscales
Para analizar estos efectos se empleará la metodología recomendada en la Guía para la Evaluación del Desarrollo Socioeconómico que consiste en la construcción de una matriz en la que se valoran las interrelaciones entre los diferentes OE. Para ello, se asigna un valor a cada cruce (1, 3 y 519) en función de la intensidad de interrelación entre los Objetivos. Este enfoque permite clasificar a los objetivos en cuatro grupos jerárquicos, (estratégicos, sensibles, influyentes e independientes). Realizando los cálculos sobre las sinergias entre objetivos específicos se puede obtener la representación gráfica de las mismas, tomando como punto de referencia el valor medio de las influencias que se generan entre OE.
Gráfico 6.2:Representación gráfica de las sinergias entre Objetivos Específicos
Fuente: Elaboración propia
El análisis demuestra que existe un OE que, tanto por su influencia sobre el resto, así como por su sensibilidad a la hora de ser influido por otros Objetivos, obtiene un carácter estratégico. Este es el OE8.2.1, mientras que existen OE que se ven influidos, en mayor medida, por la consecución del resto, como lo son el OE8.2.2, OE8.7.1 , así como un objetivo que influye, intensamente, en el éxito de otros, como lo es el OE8.2.4
e) Consistencia de la estrategia
Para complementar el análisis de la estrategia, el equipo evaluador, teniendo en cuenta el artículo 55, apartado 3, a) y el documento guía de evaluación ex ante valora la consistencia de la estrategia a través de un análisis en profundidad de los objetivos y prioridades identificando la manera en la que se relacionan y la posible existencia de objetivos y prioridades contradictorias, así como recomendaciones para solucionar estos problemas.
Se comienza presentando un diseño de un árbol de objetivos, que mostrará de forma clara las interrelaciones entre el objetivo general del Programa Operativo, sus objetivos específicos y las prioridades de inversión que se fijen en el Programa para su desarrollo e implementación, mostrando la jerarquización de la estrategia en forma piramidal, que explicita las relaciones existentes y que puede resultar adecuada para el entendimiento de las sinergias creadas entre las diferentes líneas de actuación, prioridades y objetivos intermedios propuestos para el cumplimiento de los objetivos finales.
19 El valor 1 determina una intensidad de interrelación débil, el valor 3 moderada y el 5 alta.
— 67 —
Grafico 6.3:Diseño de árbol de los objetivos del PO
Fuente: Elaboración propia
Observándose la clara estructura que el PO de Empleo Joven tiene, se puede afirmar que el PO es consistente en términos de las relaciones entre objetivos de corto, medio y largo plazo.
El segundo elemento estudiado en la consistencia fue el diseño del marco lógico que, establece la cadena recursos, actividades, productos y resultados finales, permitiendo valorar la forma en que los productos contribuyen a los resultados esperados del Programa.
Grafico 6.4:Marco Lógico de un Objetivo Específico
Fuente: Elaboración propia
Utilizando esta forma de análisis para todos los objetivos específicos del PO se puede confirmar que existe una lógica bien marcada en todas las actuaciones. El equipo evaluador considera, que bajo ciertos supuestos ajenos a la actuación, el objetivo que se establece puede ser alcanzado con estas actuaciones.
e) Cumplimiento de los principios horizontales
La evaluación ex-ante debe examinar la adecuación de las medidas previstas para promover la igualdad de oportunidades entre hombres y mujeres, prevenir todo tipo de discriminación, en particular a la accesibilidad para personas con discapacidad, y promover el desarrollo sostenible en consonancia con el artículo 55 apartado 3, letras l) y m).
— 68 —
Instituto de Estudios Fiscales
En este sentido, parece permisible concluir que la incorporación de la perspectiva de género se encuentra considerablemente integrada de forma transversal en la estrategia diseñada, mostrándose un correcto uso del lenguaje.
Por lo que se refiere al principio de igualdad y no discriminación, el PO recoge en sus actuaciones este principio, enfatizando la actuación en jóvenes que corren riesgo de sufrir exclusión social y quienes procedan de comunidades marginadas.
6.3. Indicadores, seguimiento y Evaluación
El artículo 55 del Reglamento de Disposiciones Comunes apartado 3, letras c), g), j) y k) establece que la evaluación ex ante “valorará (c) la pertinencia y claridad de los indicadores del programa, (g) si los valores previstos cuantificados de los indicadores son realistas, habida cuenta de la ayuda prevista de los Fondos EIE, (k) la idoneidad de los hitos seleccionados para el marco de rendimiento, y, finalmente, (j) la idoneidad de los procedimientos de seguimiento del programa y de recogida de datos necesarios para llevar a cabo evaluaciones”. Por este motivo, en esta sección de la evaluación ex ante se tiene por objetivo asegurar el cumplimiento de dichos requisitos del Reglamento de Disposiciones Comunes. Las principales conclusiones se sintetizan a continuación.
Para el análisis teórico y práctico de los Indicadores propuestos en el PO, se identifican una serie de propiedades deseables que éstos deben cumplir y se valora el grado de cumplimiento de aquellas por el conjunto de Indicadores, en función de la siguiente escala de valoración:
Tabla 6.1.Leyenda para la comprobación de las propiedades deseables de los indicadores del POEJ
El indicador sí cumple la propiedad El indicador cumple moderadamente la propiedad El indicador no cumple la propiedad
X
Fuente: Elaboración propia
a) Análisis teórico de los Indicadores y objetivos finales propuestos
Las propiedades teóricas que el equipo evaluador ha revisado para la batería de indicadores del PO,teniendo en cuenta los requisitos reglamentarios han sido:
— Pertinencia: para ello, los indicadores deben reflejar el grado de cumplimiento de las operaciones y los objetivos al que pertenece el indicador, captando, por tanto, el impacto directo de aquel sobre éste. Su valor debe de estar influenciado de manera directa y en la medida de lo posible por las acciones financiadas en la prioridad de inversión concreta.
— Coherencia: los indicadores son idóneos con respecto al resultado esperado para el que se han propuesto, logrando capturar su esencia.
— Claridad: los indicadores tienen un título claro y una definición inequívoca y fácil de entender. Es decir, deben de ser de fácil comprensión, libres de complejidades.
— Factibilidad: los indicadores deben ser construidos, en la medida de lo posible, en base a las estadísticas disponibles. Su medición no debe suponer una carga excesiva a los gestores de los Fondos.
Tras el análisis y la construcción de diferentes tablas donde se valora el grado de cumplimiento de lasanteriores propiedades20, las principales conclusiones a las que llega el equipo evaluador son:
— Para los Indicadores de Producto de los Ejes Prioritarios 1 y 5 del POEJ, cabe destacar que el 100% de éstos cumplen las propiedades de pertinencia, coherencia y factibilidad, y sólo en el ca-
20 Pueden consultarse con mayor detalle en el documento de evaluación ex ante.
— 69 —
so del indicador “desempleados incluidos de larga duración” el cumplimiento de la claridad del mismo se produce de manera moderada.
— En cuanto a los Indicadores de Producto para el Eje de Asistencia Técnica, el equipo evaluador verifica que todos ellos cumplen con todas las propiedades exigidas en los requisitos reglamentarios.
— Por otro lado, se verifica que el total de indicadores de resultado cumplen con las propiedades de pertinencia, coherencia, claridad y factibilidad.
Finalmente, se añaden algunas consideraciones y recomendaciones, tales como que:
— si bien los indicadores de producto se ciñen al Reglamento, su definición resulta, en algunos casos, muy genérica, por lo que se recomienda una mayor especificación de éstos en relación al colectivo de jóvenes.
— Además, el equipo evaluador considera que algunos de los indicadores propuestos como indicadores de resultado son indicadores de producto, ya que, por ejemplo, el hecho de haber participado en el POEJ no supone en sí un resultado.
b) Hitos seleccionados en el Marco de Rendimiento
La propiedad práctica que el equipo evaluador ha revisado para esta batería de indicadores, teniendo en cuenta los requisitos reglamentarios, ha sido la del realismo de los valores previstos cuantificados.
Las principales conclusiones asociadas a la valoración de esta propiedad son:
— En primer lugar, y teniendo en cuenta la información aportada por los programadores, el equipo evaluador ha valorado positivamente, tanto para los hitos de 2018 como para las metas de 2023, la aplicación de la metodología de costes medios utilizada por los programadores para el cálculo de los valores en dichos momentos.
— En segundo lugar, cabe destacar que el ritmo de las ejecuciones financieras es coherente con la evolución temporal del POEJ y, tal y como se puede comprobar en el capítulo relativo a la evaluación de la asignación financiera del Programa.
— Por último, el equipo evaluador ha detectado, bajo la valoración del realismo de los hitos y metas diferenciando por género, que las previsiones se han hecho utilizando proporciones del período anterior que no tienen por qué mantenerse en este nuevo período.
c) Procedimiento de seguimiento del Programa y control
A lo largo de la ejecución del Programa Operativo se establece la necesidad de valorar el seguimiento del mismo, así como evaluar su desarrollo para analizar su evolución en términos de eficiencia y consecución de los objetivos marcados.
En relación a ambos procesos de seguimiento y evaluación, es necesario contar con un sistema de recogida de información, capaz de dar soporte a las actuaciones que se van a desarrollar en el PO.
En este sentido, se valora positivamente el desarrollo del sistema de información para la aplicación de la Garantía Juvenil, cuyo objetivo final es garantizar que todos los jóvenes menores de 25 años puedan recibir una buena oferta de empleo, educación continua, formación de aprendiz o período de prácticas en un plazo de cuatro meses tras acabar la educación formal o quedar desempleados.
6.4. Asignaciones Financieras
Según el Reglamento de Disposiciones Comunes, la necesidad de una evaluación ex ante es notoria en tanto que se puede prever y valorar como la programación va alcanzar sus hitos y objetivos, así como va a contribuir a la estrategia de la Unión para un crecimiento inteligente, sostenible e integrador, habida cuenta de los objetivos temáticos y las prioridades de inversión ordenadas para las nece-
— 70 —
Instituto de Estudios Fiscales
sidades nacionales y regionales y el desarrollo potencial, teniendo presente las lecciones aprendidas de periodos pasados.
Desde la perspectiva de la evaluación financiera se ha conseguido analizar las dotaciones financieras que han recibido cada uno de estos objetivos temáticos y las prioridades de inversión a través de los diferentes tipos de región. Para este tipo de análisis se ha recogido la información del Plan de financiación y se ha evaluado la distribución respecto a las prioridades en cada región, para ver las disparidades y comprobar que se llevará a cabo una distribución coherente y pertinente con la estrategia marcada y el buen aprovechamiento de los recursos.
Por otro lado, se ha analizado como se ha planteado la distribución temporal de los recursos, y por último, se ha evaluado la coherencia del reparto financiero con la estrategia del POEJ derivadas de su DAFO, y también con las debilidades agregadas por los objetivos específicos que las afectan directamente.
En resumen, el equipo evaluador realizó diferentes análisis sobre la distribución y evolución financiera del POEJ, concluyendo que:
— Análisis de la distribución financiera; se evaluó la distribución por grupos de regiones y se comprobó el porcentaje de los 2.826.330.836 euros entre los tres ejes prioritarios, reconociéndose que el Eje 5 es el elemento central sobre el que gravita el programa ya que son las acciones directas de la Iniciativa de Empleo Juvenil y es concordante con su asignación tanto de ayuda propia como del FSE.
Los grados de cofinanciación han sido cumplidos como lo establece el Reglamento de Disposiciones comunes y es remarcable que la P.I 8.2 recoja la mayor dotación, dando al programa un examen positivo, acorde a las actuaciones que contempla bajo esta prioridad.
Se remarcó también que la división y desagregación financiera por objetivos específicos hubiese brindado un mejor examen de distribución y coherencia y es el único aspecto que podría mejorarse de esta parte del programa.
— Coherencia financiera; para este análisis se ha observado el programa desde dos puntos de vista.
En primer lugar, a través del análisis del reparto en función de la estrategia de esta forma se midió que porcentaje del total se repartió por los Ejes, asignando a estos una ponderación en función de su importancia, de tal manera que se pudiese comprobar que el Eje 5 recibe la mayor dotación y cubre las principales amenazas y debilidades por medio de los objetivos del Programa.
Esta concentración de los recursos permite afianzar la idea de que el POEJ, tiene una estrategia equilibrada y permite asegurar una buena eficiencia en el reparto de los recursos.
En segundo lugar, en un sentido más estricto se evalúa el reparto por objetivos específicos, agregándolos en función de los ejes y permitiendo a su vez establecer una relación con las debilidades.
Estas fueron agregadas en características principales comunes entre ellas, de tal manera que se pudiese establecer un nexo entre éstas características y los objetivos específicos, tal como se reconoce en el POEJ, así se observa qué P.I. recogía el mayor número de debilidades y ver su asignación y que sinergias se producían entre estos.
El resultado es muy ilustrativo, puesto que la P.I 8.2, a través de los OE 8.2.2 y 8.2.4, es el eje central de todo el programa, resultado que se encuentra muy relacionado con recibir la mayor cuantía financiera.
Estos resultados demuestran que el POEJ guarda el concepto de coherencia financiera en relación a la estrategia planteada y los hitos propuestos.
— Evolución financiera; se ha analizado la distribución de los flujos financieros en el tiempo, como la distribución de la Iniciativa de Empleo Juvenil recoge su dotación en el periodo 2014-2015, con su correspondiente N+3, en acciones directas sobre la población objetivo, “nini”, dichas actuaciones
— 71 —
están directamente relacionadas con las recomendaciones del Consejo y los objetivos establecidos, con una actuación rápida e intensa.
6.5. Gobernanza
El art. 5 del Reglamento de Disposiciones Comunes establece que para el desarrollo de los Programa Operativos, se debe organizar una asociación con las autoridades regionales, locales y otras autoridades públicas competentes, los interlocutores económicos y sociales y los organismos que representen a la sociedad civil21. Esta asociación debe estar presente no sólo en la preparación inicial de los programas sino durante su ejecución, seguimiento y evaluación. El reglamento hace mención también de las nuevas medidas para el periodo 2014-2020 que buscan la máxima eficiencia en la intervención de los Fondos EIE, tales son: la concentración de recursos, la reducción de cargas administrativas y la simplificación, la proporcionalidad en las asignaciones financieras, la descentralización y la incorporación de agentes privados al tramo nacional, y el uso de instrumentos financieros que consigan un efecto multiplicador de las acciones planificadas.
El equipo evaluador se dedicó a verificar el cumplimiento de todos estos principios que durante los trabajos de elaboración del POEJ se han venido desarrollando como así también de los preceptos enunciados en el Código de Conducta del Partenariado.
La metodología ha sido la observación del modelo de gestión desarrollado en el POEJ, los recursos humanos asignados para desarrollar su labor y el analizar y verificación de los mecanismos de comunicación con otros agentes sociales, grupos de interés, organismo intermedios, etc. que hubo en el proceso de programación del POEJ por lo que se presenta un cuadro resumen del análisis de cumplimiento de los principios de "Buen Gobierno" del Libro Blanco de la Gobernanza europea.
Como resultado, el equipo evaluador concluye que los principios de Gobernanza se cumplen y están presentes en la elaboración del POEJ, tanto en las justificaciones de las condiciones ex ante, en las asignaciones financieras, así como en la estrategia a desarrollarse en todo el periodo.
Para ello el equipo evaluador responde a las preguntas: ¿quién ha participado? (descripción de los participantes), ¿cuándo? (a través de las reuniones que han celebrado) y ¿cómo?, identificando las conexiones entre los agentes involucrados
21 Incluidos los interlocutores medioambientales, las organizaciones no gubernamentales y los organismos encargados de promover la igualdad y la no discriminación
Tabla 6.2.Esquema de la evaluación del partenariado para el POEJ
— 72 —
— Consejo de la Juventud de España— Organizaciones empresariales: CEOE y CEPYME— Organizaciones sindicales: UGT y CC.OO— Asociaciones representativas de la Economía Social y del trabajo autónomo— Cámaras de comercio
¿Quién ha participado? — Asociaciones de jóvenes empresarios como CEAJELista de los partners — CC.AA y ciudades autónomas de España
consultados: — Ministerio de Educación, Cultura y Deporte.— Banco Europeo de Inversiones;— Centro Superior de Investigaciones Científicas;— Instituto de la Juventud;— Consejo Superior de Cámaras de Comercio;— Fundación Secretariado Gitano, Cruz Roja, Fundación ONCE y Cáritas;— Fundación Incyde;
Instituto de Estudios Fiscales
— Instituto de Comercio Exterior;— Confederación Española de Centros de Enseñanza;— Red de Fundaciones Universidad Empresa.— Dirección General del Trabajo Autónomo,— Economía Social y la Responsabilidad Social de las Empresas
(DGSTAYRSE)— Interlocutores sociales en España— Organizaciones no gubernamentales:Cruz Roja; Fundación ONCE;
Cáritas y Secretariado Gitano.— Grupo Permanente de Trabajo de la Red de políticas de Igualdad: Orga
nismos de igualdad de Murcia y La Rioja y del Instituto de la Mujer— Subdirección General de Igualdad de Trato y no Discriminación del
Ministerio de Sanidad, Servicios Sociales e Igualdad.— Principales organizaciones ecologistas: WWF y Seo Birdlife
Instituto de Estudios Fiscales
— 16 de abril de 2013, 7 de mayo de 2013 y 14 de octubre de 2013: Reuniones con las CC.AA
— 13 de marzo de 2014 y 30 de abril: Reuniones bilaterales con todas las comunidades autónomas relativas a la programación 2014-2020 y
¿Cuándo?Principales reuniones que han tenido lugar en las que
participaron los agentes en el proceso de elaboración
del POEJ
—
al Programa Operativo de Empleo Juvenil.
18 de diciembre de 2013: Conferencia Sectorial de Empleo y Asuntos Laborales
19 de diciembre de 2013: Plan Nacional de Implantación de la Garantía Juvenil presentado a la Comisión Europea
24 de marzo y 28 de abril de 2014:Reuniones del grupo de trabajo.
5 de febrero de 2014: Reunión con los principales organizaciones ecologistas
27 de febrero de 2014: Grupo Permanente de Trabajo de la Red de políticas de Igualdad
Reuniones de carácter periódico con la mayoría de las entidades.
— Por un lado, en la programación se ha aplicado el principio de partenariado a través de reuniones de la UAFSE con los partners especifi-
¿Cómo? cados arriba y propios del desarrollo del POEJ y, por otro, en la fasede evaluación, a través de reuniones de la UAFSE con el Instituto de Estudios Fiscales, encargado de elaborar la evaluación ex ante del Programa Operativo de Empleo Juvenil.
Fuente: Elaboración propia
Por último, se presenta un cuadro con las características de la intervención del POEJ evaluando el cumplimiento de los principios de “Buen Gobierno” siguiendo las líneas del Libro Blanco de la Gobernanza europea antes mencionadas.
Tabla 6.3.Evaluación de propiedades de la buena gobernanza
Características Nivel de evaluabilidad
Apertura: La intervención del POEJ impone a las instituciones trabajar de forma más abierta, presenta una comunicación activa, lenguaje más accesible y medidas que conduzcan a la confianza
de los ciudadanos en la institución.
Alta
(Sigue)
— 73 —
(Continúa)
Características Nivel de evaluabilidad
Participación: Se entiende que la calidad, la pertinencia y la eficacia de la intervención exigen una amplia participación
ciudadana tanto en la fase de formulación como de implementación y evaluación.
Alta
Responsabilidad: El POEJ exige la clarificación del papel de cada una de las instituciones que intervienen en la toma de decisiones. Alta
Eficacia: El POEJ requiere que las medidas adoptadas produzcan los resultados buscados sobre la base de unos objetivos claros,
de una evaluación de su futuro impacto y en su caso de la experiencia acumulada.
Alta
Coherencia: El POEJ exige que acciones sean coherentes y fácilmente comprensibles. Alta
Fuente: Elaboración propia
6.6. Conclusiones
La reducción del desempleo juvenil constituye uno de los retos más importantes para el período de programación 2014-2020. La estrategia Europa 2020 tiene como objetivos principales el crecimiento inteligente, sostenible e integrador, que pasa por conseguir un descenso notable en el número de jóvenes desempleados.
El Programa Operativo de Empleo Juvenil está diseñado para contribuir a atenuar la intensidad del paro entre este colectivo, especialmente afectado.
Teniendo en cuenta las lecciones aprendidas de períodos anteriores y las recomendaciones del equipo evaluador a partir de su evaluación ex ante, el programa está en condiciones de poder iniciar su recorrido con garantías suficientes sobre su viabilidad.
Las evaluaciones intermedias que sobre él se hagan, que además ya podrán contar con porcentajes de ejecución y análisis de la parte operativa, deberán incidir igualmente sobre la idoneidad en la gestión, así como los logros obtenidos, en respuesta al nuevo enfoque de los Reglamentos del período 2014-2020, que pretende asegurar la consecución de resultados tras la aplicación de la política de cohesión en España.
— 74 —