• Octubre de 2017

LA IMPORTANCIA DE LOS INDICADORES EN LA

EVALUACIÓN Y AUDITORÍA DE DESEMPEÑO

M.G.D.H. Francisco R. Mijares Márquez

1

No hay recetario de Indicadores efectivos. 2

INDICADOR

De nada sirve si nadie lo observa y su utilidad es poca si no se tiene una ruta a donde llegar

3

Un indicador es útil en cuanto nos expresa qué tan cerca o lejos estamos al punto de llegada del que decidimos partir.

4

5

1. Importancia de los indicadores

2. El modelo de gestión para resultados

3. Caso mexicano

4. Avances en las entidades federativas

Agenda:

5. Óptica desde la Fiscalización Superior

6

1. LA IMPORTANCIA DE LOS INDICADORES

De acuerdo con la Real Academia Española

(RAE) “Indicador” es un adjetivo que significa: “Que indica o sirve para indicar”, deriva, entonces, del verbo indicar.

E Indicar es, según la RAE, “Mostrar o

significar algo con indicios y señales”.

7

LÍNEA DE EVALUACIÓN VITAL

Parametrización para calificar los eventos que nos suceden todos los días

Genial Muy bueno Bueno Normal Malo Muy malo Terrible

8

Inteligente

Capacidad de locuacidad

Agradable

Carisma

Congenia fácilmente con la gente

Se preocupa y ocupa poco

JORGE

9

Sobrevaloración de

las situaciones

LÍNEA DE EVALUACIÓN VITAL

Genial Muy bueno Bueno Normal Malo Muy malo Terrible

Joven que reprueba exámenes en la preparatoria o universidad y se deprime pensando que su vida ya no

tiene sentido.

Con la separación de su pareja, cree que su vida se terminó, que estar sólo es una

tragedia, que nunca más será feliz.

10

Síndrome de la “Terriblitis” Tensión de las

relaciones organizacionales

Estrés laboral

Evaluación de forma errónea de una

situación

Terribilización de hechos

(Mala Evaluación)

11

Criterios para una correcta evaluación

1. Racionalidad 2. Objetividad

3. Intelectualmente maduro

12

LÍNEA DE EVALUACIÓN VITAL

Genial Muy bueno Bueno Normal Malo Muy malo Terrible

Evaluación de Programas Presupuestarios o Institucionales: Describen programas bondadosos con resultados triunfalistas, generosos, solidarios, solucionadores de problemas, únicos, eficaces y hasta económicos.

Tendencia a la “Genialitis”

¿Son los programas que no se realizaron con criterios racionales, objetivos e intelectualmente maduros los que están fallando?

13

Indicador

Importancia de los Indicadores

Indica, esa es su labor

La labor de los diseñadores de indicadores es hacer buenos señalamientos para rutear el programa

Indicadores ligados con los objetivos del Programa

La labor de los ejecutores del Programa es monitorear su comportamiento y sus resultados para la toma de decisiones.

La labor del Auditor es verificar los resultados del Programa a través de indicadores

14

15

2. EL MODELO DE GESTIÓN PARA RESULTADOS

Qué es la Gestión por Resultados (GpR) Es un modelo de cultura organizacional, directiva y de gestión que pone énfasis en los resultados y no en los procedimientos, destacando el cómo se hacen las cosas. Cobra mayor relevancia qué se hace, qué se logra y cuál es su impacto en el bienestar de la población; es decir, la creación de valor público. La creación de valor público se refleja en los resultados e impactos, cuantificables que permitan evaluar el rendimiento en todas sus dimensiones, implementando sistemas de monitoreo, medición y control, que permitan un adecuado control y la toma de decisiones.

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR).

Aspectos Conceptuales

16

17

1.Cuestión o problemática social

2.Agenda de asuntos públicos

3.Adopción de la decisión

4.Implementación de la actuación gubernamental (política o programa)

5.Evaluación de la actuación gubernamental (políticas públicas)

Modelo de Gestión para Resultados

Etapas de la Política Pública

Qué es la Gestión por Resultados (GpR

Costo Beneficio Vs. Valor Público Sector Privado Sector Público

18

Aspectos Conceptuales

Qué es Presupuesto Basado en Resultados (PbR)

Componente de la GpR que consiste en un conjunto de actividades y herramientas que permite apoyar las decisiones presupuestarias con información que sistemáticamente incorpora consideraciones sobre los resultados del ejercicio de los recursos públicos, y que motiva a las instituciones públicas a lograrlos, con el objeto de mejorar la calidad del gasto, así como la mejora de los bienes y servicios públicos.

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR)

19

1. Conduce El proceso presupuestario hacia el logro de objetivos y resultados. Define

y alinea los programas presupuestarios y sus asignaciones a través del

ciclo:

2. Considera Indicadores estratégicos y de gestión y establece una meta o grupo de

metas de los programas presupuestarios, a las cuales se le asigna un

nivel de recursos compatibles con dicha meta;

- Planeación - Seguimiento

- Programación - Evaluación

- Presupuestación - Rendición de cuentas

- Ejercicio - Transparencia

- Control

Características del PbR

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR).

20

3. Provee Información y datos sobre los resultados del desempeño (utiliza los

resultados del desarrollo y permite comparaciones entre lo observado y

lo esperado);

4. Propicia Un nuevo modelo para la asignación de recursos, que incorpora en las

decisiones presupuestarias la evaluación de los resultados alcanzados

por los programas presupuestarios; y,

5. Apoya El mejoramiento continuo de las políticas, de los programas y del

desempeño de las instituciones, así como de las decisiones

presupuestarias, considerando el seguimiento y las evaluaciones

realizadas.

21

22

Nuevo Modelo

El proceso presupuestario se transforma en un nuevo modelo

orientado al logro sistemático de objetivos y resultados

específicos, medibles y tangibles para la población: PbR

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR).

23

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR).

24

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR).

25

Qué es la Matriz de Indicadores de Resultados (MIR)

Es un instrumento para el diseño, organización, ejecución, seguimiento, evaluación y mejora de los programas, resultado de un proceso de planeación realizado con base en la Metodología del Marco Lógico (MML). Es un instrumento de planeación estratégica y está compuesta por 4 filas y cuatro columnas.

Filas: Denotan niveles de objetivos del programa. Columnas: Permiten establecer como se medirán los

resultados del programa. Fuente: SHCP, Guía para el diseño de indicadores estratégicos

26

Metodología Marco Lógico

27

¿Para qué sirve la GpR?

Fuente: SHCP , Diplomado de presupuesto basado en resultados PbR

Mejorar la calidad del gasto público

Aumento en la eficiencia y mejor desempeño en la gestión pública

Fortalecimiento de la transparencia

Mayor bienestar ciudadano

Rendición de cuentas

28

Cómo se instrumenta la GpR

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR).

Para avanzar en la institucionalización (instrumentación) de la GpR, es necesario:

Contar con un Presupuesto basado en Resultados (PbR); y

Considerar a la GpR como un modelo de cultura organizacional

Entonces, se puede ubicar al PbR, como una dimensión sustantiva y prioritaria del proceso de resultados enfocado al cumplimiento de objetivos y metas del ejercicio del gasto, ya que no es posible consolidar una GpR sin un PbR, y viceversa.

29

3. CASO MEXICANO

30

Instrumentos Jurídicos

Fuente: SHCP, Guía para la construcción de la MIR

Artículo 6. El derecho a la información será garantizado por el Estado.

Artículo 26. Es Estado organizará un sistema de planeación democrática.

Artículo 134. Administración de los recursos con eficiencia, eficacia, economía, transparencia y honradez.

Ley Federal de Transparencia y

Acceso a la Información Pública

Gubernamental

Artículo 14. Atribuciones de la Secretaria de Hacienda y Crédito Público

Artículo 31. Asuntos correspondientes de la SHCP

Artículo 32. Asuntos correspondientes de la Secretaría del Medio Ambiente

Artículo 33. Asuntos correspondientes de la Secretaría de Energía

Artículo 34. Asuntos correspondientes de la Secretaría de Economía

Artículo 35. Asuntos correspondientes de la Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación

Artículo 36. Asuntos correspondientes de la Secretaría de Comunicaciones y Transportes

Artículo 37. Asuntos correspondientes de la Secretaría de la Función Pública

Artículo 11. Renovación anual de fideicomisos.

Artículo 110. Evalución de los recursos calendarizados.

Artículo 107. Remitir información mensual y trimestral al Congreso

Ley Federal de Presupusto y

Responsabilidad Hacendaria

En su totalidad

Artículo 39. Resoluciones por Tribunales Federales

Artículo 27. Los anteproyectos deberán sujetarse a la estructura

programática

Artículo 78. Evaluación de resultados.

Artículo85. Transferencia de recursos federales

Constitución política de los

Estados Unidos Mexicanos

Ley de Planeación

Ley Orgánica de la

Administración Pública Federal

Artículo 1. Reglas generales y ejecutores del gasto.

Artículo 2. Objeto y definiciones.

Artículo 24. Programación y presupuestación del gasto público

Artículo 34. Procedimiento de programación del destino de los recursos

Artículo45. Responsables ejecutores del gasto.

Caso Mexicano

31

Instrumentos Jurídicos

Fuente: SHCP, Guía para la construcción de la MIR

Artículo 72. Evaluación de la Política de Desarrollo Social.

Artículo 73. Organismos evaluadores independientes.

Artículo 74. Los programas sociales de manera invariable deberán incluir los indicadores.

Artículo 75. Los indicadores de resultados que se establezcan deberán reflejar el cumplimiento de los objetivos.

Artículo 76. Los indicadores de gestión y servicios deberán reflejar los procedimientos y la calidad de los servicios de los programas.

Artículo 77. Los indicadores se someterán a consideración de la SHCP.

Artículo 78. . La evaluación será anual.

Artículo 79. Los resultados de las evaluaciones serán publicados en el Diario Oficial de la Federación

Ley General de Contabilidad

Gubernamental

Ley de Fiscalización y Eendición

de Cuentas

Plan Nacional de Desarrollo

Lineamientos Generales para la

Evaluación de los Programas

Federales de la Administración

Pública Federal.

Consejo Nacional de

Armonización Contable

En su totalidad.

En su totalidad.

En su totalidad.

En su totalidad.

Artículo 80. El Consejo Nacional de Evaluación de la Política de Desarrollo Social podrá emitir las sugerencias y recomendaciones

que considere pertinentes

En su totalidad.

En su totalidad.

Ley de Coordinación Fiscal

Ley General de Desarrollo Social

32

Instrumentos Administrativos

Fuente: SHCP, Guía para la construcción de la MIR

Sistema de Evaluación del Desempeño (SED). Conjunto de elementos metodológicos que permiten realizar una valoración objetiva del desempeño de los programas, bajo los principios de verificación del grado de cumplimiento de metas y objetivos, con base en indicadores estratégicos y de gestión que permitan conocer el impacto social y económico de los programas y de los proyectos.

33

Objetivos

1. Consolidar el nuevo modelo de gestión gubernamental para

facilitar la toma de mejores decisiones sobre las asignaciones y

reasignaciones de recursos presupuestarios, y para el logro de

resultados establecidos en los objetivos de los programas.

2. Elevar la eficiencia gubernamental y de gasto público, así como

racionalizar el gasto de operación y en funciones administrativas.

3. Contribuir a mejorar la cobertura y calidad de los bienes y

servicios públicos que se entregan a la población.

4. Fortalecer la transparencia y rendición de cuentas.

Sistema de Evaluación del Desempeño

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR).

34

El Sistema de Evaluación del Desempeño comprende la valoración

objetiva del desempeño de los programas; verifica el grado de

cumplimiento de metas y objetivos, con base en indicadores

estratégicos y de gestión, para:

Conocer

Los resultados del ejercicio de los recursos y el impacto social y

económico de los programas.

Identificar

a) La eficacia, eficiencia, economía y la calidad en el gasto.

b) Las mejores estrategias de gobierno y de desarrollo.

Sistema de Evaluación del Desempeño

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR).

35

Elevar la Eficacia

La calidad del gasto público que se traduce en mejores

servicios públicos, más infraestructura, mayor eficacia y

productividad de las instituciones.

Los indicadores de SED deberán formar parte del

presupuesto, incorporar sus resultados en la Cuenta Pública

y ser considerados tanto para mejorar los programas, como

para el proceso de elaboración del siguiente presupuesto.

Sistema de Evaluación del Desempeño

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR).

36

Componentes del Sistema de Evaluación del Desempeño (SED)

Fuente: SHCP, Diplomado de Presupuesto basado en Resultados (PbR).

37

Instrumentos Administrativos: Tipos de Evaluaciones

Fuente: CONEVAL, Evaluación de Programas Sociales

• Evalúa la consistencia y lógica interna de los programas presupuestarios. De Diseño

• Diagnóstico sobre la capacidad institucional, organizacional y de gestión de los programas para alcanzar resultados.

De Consistencia y Resultados

• Efectos netos del programa sobre la población que atiende

De Impacto

• Los propios programas la realizan para profundizar sobre aspectos relevantes de su desempeño. Complementaria

38

Fuente: CONEVAL, Evaluación de Programas Sociales

• Revisa mediante trabajo de campo la pertinencia y alcance de los indicadores de un programa para el logro de sus resultados.

De Indicadores

• Analiza mediante trabajo de campo si el programa lleva a cabo sus procesos operativos de manera eficaz, eficiente y si contribuye al mejoramiento de la gestión.

De Procesos

• Valoración de las políticas y estrategias de desarrollo social, tomando en cuenta diversos programas y acciones dirigidos a un objetivo común.

Estratégica

Instrumentos Administrativos: Tipos de Evaluaciones

39

Instrumentos Administrativos

Fuente: SHCP y CONEVAL, Programa Anual de Evaluación 2012

El Programa Anual de Evaluación tiene como propósitos: Determinar los tipos de evaluación que se aplicarán a los programas

presupuestarios, como parte de un proceso integral, gradual y útil para apoyar las decisiones en materia presupuestaria.

Establecer el calendario de ejecución de las evaluaciones de los programas presupuestarios en operación.

Vincular el calendario de ejecución de las evaluaciones con el calendario de actividades de la programación y presupuestación para el ejercicio fiscal corriente.

Articular los resultados de las evaluaciones de los programas presupuestarios como elemento relevante del Presupuesto basado en Resultados y del Sistema de Evaluación del Desempeño.

40

Secretaría de Hacienda y Crédito Público Presupuesto basado en Resultados Sistema de Evaluación del Desempeño Guía para el diseño de Indicadores Estratégicos Metodología de Marco Lógico y Matriz de Indicadores

para Resultados Programa Anual de Evaluación

CONEVAL Evaluación y Monitoreo de Programas Sociales Matrices de Indicadores Tipos de Evaluación Programa Anual de Evaluación

Secretaría de la Función Pública Programa Anual de Evaluación Programa de la mejora de la Gestión en la

Administración Pública Federal 2008-2012 Guía de Auditoría al Desempeño de las Dependencias

y Entidades de la Administración Pública Federal Manual General de Auditoría Gubernamental

Instrumentos Institucionales

41

4. AVANCES EN LAS ENTIDADES FEDERATIVAS

42

Vincular acciones con el Plan Nacional de Desarrollo para emigrar a una administración orientada a resultados, en vez de la que administra normas y procesos, para:

¿Qué deben hacer las entidades federativas para insertarse en esta lógica?

Fuente: SHCP, Diplomado de presupuesto basado en resultados PbR

• Elevar los estándares de eficiencia y eficacia gubernamental a través de la sistematización y digitalización de todos los trámites administrativos.

Aprovechamiento de Tecnologías

•Hacer más eficiente y eficaz el gasto de las dependencias y entidades federativas.

Gasto

•Profesionalizar el servicio público para mejorar el rendimiento de las estructuras orgánicas de la Administración.

Profesionalizar

Avances en Entidades Federativas

43

¿Qué deben hacer las entidades federativas para insertarse en esta lógica?

Fuente: SHCP, Diplomado de presupuesto basado en resultados PbR

• Adoptar un modelo de diseño del Presupuesto basado en Resultados que facilite la rendición de cuentas y cumplir las metas planteadas.

PbR

• Evaluar el desempeño de los programas de gobierno y su impacto en la población, así como de las instituciones gubernamentales

Evaluar

•Alinear programas y sus asignaciones a través del ciclo planeación-programación-presupuestación-ejercicio-control-seguimiento-evaluación.

Alinear

44 Fuente: SHCP, sitio web http://www.shcp.gob.mx/EGRESOS/sitio_pbr/Paginas/ENTIDADESFEDERATIVAS.aspx

La SHCP recomienda a las entidades federativas establecer un esquema para transitar paulatinamen-te hacia el

PbR:

Avance en los Estados del PbR - SED

45 Fuente: SHCP, sitio web http://www.shcp.gob.mx/EGRESOS/sitio_pbr/Paginas/ENTIDADESFEDERATIVAS.aspx

¿Cómo se realiza la valoración?

La valoración del avance en la implementación del PbR-SED se realiza mediante la elaboración de Índice de Avance en PbR-SED

Índice de Avance en PbR-SED

La calificación de las respuestas depende de la evidencia documental que se aporte para sustentarla

Valor de 1

Valor de 0

• Si la evidencia corresponde a lo solicitado y sustenta satisfactoriamente la respuesta.

• En proceso de implementación. • Respuesta negativa. • La evidencia no corresponde a lo

solicitado. • No se indica ubicación de información. • No se anexa evidencia. • Evidencia parcial o incompleta. • La evidencia no es de carácter oficial.

46

Para medir los avances de los gobiernos estatales en la implementación del PbR, la Secretaría de Hacienda y Crédito Público, de 2010 a 2017 ha realizado diagnósticos que abarcan la información de los temas de ajustes jurídicos alineados al PbR-SED; avance en la cumplimentación de mejoras al ciclo presupuestario (planeación, programación y presupuesto); armonización contable; y transparencia. Este diagnóstico le permitió conocer el porcentaje de avance y establecer un plan de acción conjunto para alcanzar la cobertura nacional integral de esta iniciativa. Los resultados se muestran por entidad federativa y son los siguientes:

Fuente: SHCP, sitio web http://www.shcp.gob.mx/EGRESOS/sitio_pbr/Paginas/ENTIDADESFEDERATIVAS.aspx

¿Qué avances tienen?

47

RESULTADOS DEL DIAGNÓSTICO 2017. ÁMBITO ESTATAL

Fuente: Diagnóstico sobre el avance en la Implementación del PbR-SED en Gobiernos Subnacionales 2017, SHCP.

48

RESULTADOS DEL DIAGNÓSTICO 2017. ÁMBITO ESTATAL RESULTADOS DEL DIAGNÓSTICO 2017. ÁMBITO ESTATAL

PbR-SED Transparencia Capacitación Adquisiciones Recursos Humanos

La instrumentación del PbR-SED registro un avance de 4.3 por ciento de 2016 a 2017. Fuente: Diagnóstico sobre el avance en la Implementación del PbR-SED en Gobiernos Subnacionales 2017, SHCP.

49

RESULTADOS DEL DIAGNÓSTICO 2017. ÁMBITO ESTATAL El marco Jurídico se encuentra alineado con las disposiciones

federales y cuenta con elementos suficientes para la aplicación del PbR-SED.

84% cuentan con MIR de los Pp y se da seguimiento a las metas de éstos a través del uso de indicadores.

84% tienen una Unidad ó Área responsable de llevar a cabo las tareas de evaluación del desempeño de los programas y/ acciones de gobierno.

87% cuentan con PAE, además, se definen los Pp y/o acciones de gobierno a evaluar.

62% cuentan con mecanismos formales para dar seguimiento a las recomendaciones de las evaluaciones externas.

56% toma en cuenta los resultados de las evaluaciones para la mejora de los programas.

CONCLUSIONES DEL DIAGNÓSTICO 2017. ÁMBITO ESTATAL

Fuente: Diagnóstico sobre el avance en la Implementación del PbR-SED en Gobiernos Subnacionales 2017, SHCP.

50

5. ÓPTICA DESDE LA FISCALIZACIÓN SUPERIOR

51

Para:

Verificar que se promueven modificaciones estructurales en la asignación de recursos a través de la adecuación del marco normativo.

Verificar que los servicios incrementaron su calidad.

Verificar que existen iniciativas para mejorar la gestión pública incrementando el valor público.

Verificar que existe énfasis en los resultados y no en los procedimientos.

Evaluar el desempeño con base en indicadores para conocer el cumplimiento de metas y objetivos.

51

¿Para qué les sirve a las EFSL?

Fuente: ASF, Presupuesto basado en resultados (PbR) Segunda jornada de capacitación dirigida a servidores públicos municipales

Óptica desde la Fiscalización Superior

52

A través de:

• Estudiar, analizar y, en su caso, emitir recomendaciones sobre el proceso de adecuaciones jurídicas, administrativas e institucionales para implementar la Gestión para Resultados y Presupuesto basado en Resultados en la entidad federativa que fiscaliza.

•Revisar en las auditorías o evaluaciones de desempeño la construcción de las MIR, sus resultados e impacto en los procesos presupuestales.

¿Cómo pueden contribuir con este proceso las EFSL?

Fuente: ASOFIS, Programa de trabajo 2012

53

¡Muchas gracias!

frmijares@gmail.com