1
La importancia de los indicadores en la evaluación y en la
fiscalización superior
1 Buenos días a todos. Gracias por la invitación y gracias por el
tiempo que ustedes, público presente hoy, me hacen el favor
de otorgar.
Es para mí un gusto poder expresar algunas ideas sobre
evaluación de desempeño, específicamente sobre indicadores.
Como lo escucharon en la presentación, soy servidor público.
Laboro en el Órgano de Fiscalización del Estado de México
(OSFEM) y mi función es auditar el desempeño de las
entidades públicas. Esto es, determinar si los entes de gobierno
cumplieron los objetivos y metas de sus programas públicos.
2
En el OSFEM, y en muchas Entidades de Fiscalización
Superior del país, la comprobación del cumplimiento de
objetivos de programas de gobierno se hace a través de
auditorías de desempeño, tema en verdad interesante y de
mucho interés público.
Sin embargo, hoy no voy a hablar de auditorías de desempeño,
hoy vengo a presentar un tema sobre indicadores y el papel
que juegan en la ejecución de programas y políticas públicas, y
cómo, su aplicación, puede mejorar las acciones de gobierno.
2
3
Saben, yo creo que un indicador es como un señalamiento de
tránsito en medio de una calle o carretera. Puede ser verde,
amarillo, azul, blanco o rojo y decir o advertir una serie de
cosas importantes o no, pero de nada sirve si nadie lo observa
y su utilidad es poca si no se tiene una ruta a donde llegar.
Con esta idea, trasladándola al tema de lo público, tendríamos
que los indicadores son los señalamientos para llegar a la ruta
trazada y el mapa es el programa público. Y como en un viaje
cualquiera, cada programa, al igual que un mapa, debe tener
un inicio y un lugar de llegada.
4
Un indicador es útil en cuanto nos expresa qué tan cerca o
lejos estamos al punto de llegada del que decidimos partir.
Como más adelante detallaremos, existen indicadores de
gestión, que son los que nos permiten guiar durante el
transcurso de un viaje, y los estratégicos, que nos permiten
identificar cuando llegamos o, de plano, nos alejamos de
nuestro destino.
Sobre esta idea y sobre su importancia versará mi
presentación.
3
5
Bueno, el título de esta charla se llama “La importancia de los
indicadores en la evaluación y en la fiscalización superior”, y la
forma en que plantearé el tema es el siguiente:
Comenzaré por mencionar cuál es el papel o tarea de los
indicadores y de las personas ligadas a los indicadores
de un programa, es decir, su importancia.
Creo que de poco vale hablar de indicadores si no se
contextualiza el escenario de su zona de influencia, por
ello, enseguida abordaré algunos aspectos
conceptuales sobre Gestión para Resultados (GpR),
sobre el Presupuesto basado en Resultados (PbR), la
Metodología del Marco Lógico (MML) y Matriz de
Indicadores para Resultados (MIR). Advierto que será un
repaso muy breve.
Más tarde tocaré la experiencia de México en la
instrumentación de este modelo de gestión para controlar
las políticas y programas públicos y enfatizaré en los
elementos con los que hoy cuentan los gobiernos para,
paulatinamente, consolidar esta forma de gestión.
Como cuarto punto referiré los avances que las
entidades federativas tienen en la aplicación de esta
4
práctica orientada a los resultados.
Por último, verteré algunos comentarios sobre cómo,
desde una función fiscalizadora, se puede contribuir a
que este modelo de gestión mejore los resultados del
ejercicio del dinero público.
Así es como, si están de acuerdo, me dispongo a comenzar
con esta exposición.
6
1. Importancia de los indicadores
7
De acuerdo con la Real Academia Española (RAE) “Indicador”
es un adjetivo que significa: “Que indica o sirve para indicar”,
deriva, entonces, del verbo indicar.
E Indicar es, según la RAE, “Mostrar o significar algo con
indicios y señales”.
Y de eso vengo a hablar el día de hoy, de los indicios o señales
que nos ayudan a saber si un programa o política funciona o
no.
Vámonos con calma.
5
Los indicadores sirven para evaluar, como ya habíamos dicho.
Pero las evaluaciones y los indicadores son cotidianos en la
vida diaria. Prácticamente todos los días consciente o
inconscientemente hacemos evaluaciones. Por ejemplo, hace
días escuchaba una conferencia del psicólogo español Rafael
Santandreu, quien, a petición de la Universidad Internacional
de la Rioja (UNIR), ofreció una charla para la extensión cultural
de dicha casa de estudios, la plática se denominó “El arte de no
amargarse la vida”.
8
Bueno, en esta conferencia el psicólogo y escritor se refería a
la “Línea de Evaluación Vital”, misma que ahora les reproduzco
en pantalla.
Santandreu decía que los seres humanos somos máquinas de
evaluar todo lo que nos sucede.
Exponía un caso trivial.
Imaginen ustedes que están tomando un buen café irlandés o
un capuchino en un Café y lo están haciendo en compañía de
un amigo, uno que hace años no veían pero que, por azares
del destino, se reencuentran.
Piensen en la escena: el café está bueno, la conversación es
agradable, en la calle llueve, hace un frío húmedo y el
6
estacionamiento queda a una cuadra del sitio. Y entre tanto,
después de hora y media de compañía del antiguo amigo, al
final de la copa de café, sin hablar, ustedes se cuestionan si
será oportuno repetir el café, es decir, tomar uno más. Y
entonces evalúan la experiencia y se preguntan: ¿lo he pasado
bien? o ¿lo he pasado mal? Toman en cuenta todas las
variables que recién describí y con la información en la cabeza
deciden al respecto.
Más aún, ahora mismo, ustedes están aquí, escuchándome,
intentado comprender lo que digo, pero también están
evaluando. Probablemente piensen: “Esto que está diciendo
este tipo ¿es cierto?, ¿es interesante?, ¿me ayudará?,
¿repetiré cuando me vuelvan a invitar a una conferencia sobre
evaluación o indicadores?”.
Pero yo también evalúo y digo “¿Me están escuchando?,
¿lucen interesados?, ¿si me invitan otra vez estaría dispuesto a
hablar frente a este público? Y con base en las variables que
me indican evalúo si esto ha sido una buena o mala
experiencia y tomaré una decisión.
Pero evaluar objetivamente no es sencillo, también es cierto
que en la vida diaria hay situaciones más complejas de evaluar
que otras.
7
Por ello el psicólogo citaba mucho esta diapositiva de la “Línea
de Evaluación Vital”.
De acuerdo con Santandreu, existe una parametrización para
calificar los eventos que nos suceden todos los días. La escala
es esta: Genial, muy bueno, bueno, normal, malo, muy malo y
Terrible.
Y aunque la escala está ahí, la forma de calificar depende de la
experiencia vivida y de quien la evalúa, porque para lo que uno
puede ser muy malo, para otra persona puede ser solamente
algo malo o incluso normal.
Veamos.
9
Les voy a contar de dos casos extremos.
Conozco desde hace muchos años a una persona. Este
individuo, que rondará los cuarenta años, es un tipo inteligente,
con mucha locuacidad, agradable, posee cierto carisma,
congenia fácilmente con la gente, se preocupa y ocupa poco,
tiene mucha inventiva y es, según él, bueno para muchas
actividades. En realidad sí tiene talentos diversos, aunque, me
8
parece, no tantos como los que se ufana.
Bueno, este amigo, que para efectos de esta charla llamaré
Jorge, es un tipo feliz, pero hay algo que siempre ha deseado
tener, y esto es: sacarse la lotería o el melate o los pronósticos
deportivos.
Desde que lo conozco juega y, a la fecha, nunca ha ganado
nada, pero sigue intentando. Su argumento es el siguiente: “Yo
soy feliz, me va bien en la vida, soy bueno para muchas cosas,
como la administración pública, la cocina, los negocios, dar
clases, conozco de mecánica, de historia, de cine. Soy buen
padre, buen hijo y un católico promedio, es decir, en stand bye.
Y sin embargo, algo que sería genial es tener dinero”.
Tal es su deseo de ganar la lotería, que cada que la ocasión se
presta, me cuenta que con el dinero del premio compraría tal
casa, tal auto, tal viaje, tales escuelas para sus hijos, y, en
verdad, uno lo mira a los ojos y parece que lo está viviendo,
parece que está disfrutando ese dinero.
Pasa el tiempo, lo dejo de ver una semana, y el sentido del
discurso de Jorge es el mismo, pero con variantes. Ahora ya no
quiere una casa, ahora lo correcto es invertir en la casa de
bolsa o participar en una inmobiliaria o colocar una cadena de
taquerías. En fin, que historias siempre tiene.
9
¿Qué pasa con Jorge? Bueno, que sus criterios para evaluar la
realidad o las experiencias que le suceden no son adecuados.
El extremo de la sobrevaloración de las situaciones, digamos
que su extrema forma de evaluar sus acciones y deseos lo
lleva a una situación poco real y poco sana.
10
Pero está el extremo opuesto, aquel fatalista que en la escala
de “Línea de Evaluación Vital”, casi cualquier cosa le parece
terrible.
Creo que todos o muchos de los presentes conocemos a
personas que cualquier situación en contra de sus deseos o
intereses les parece fatal.
Por ejemplo, aquel joven que reprueba exámenes en la
preparatoria o universidad y se deprime pensando que su vida
ya no tiene sentido, que sin educación universitaria su futuro
económico se desfavorecerá y terminará siendo un individuo
fracasado.
Pero eso, que a él le parece terrible, no lo es tanto porque hoy
en día existen sistemas de educación en línea, escuelas
abiertas, escuelas privadas con acceso a becas,
financiamiento, entre muchas otras opciones. Es más, si en
verdad dejara de estudiar, la creencia de que sin estudios la
10
situación económica de una persona será magra, también es
falsa.
Otro caso, y éste es típico:
Aquel hombre o mujer que después de cinco o diez años de
matrimonio sufre una separación de su pareja y cree que su
vida se terminó, que estar sólo es una tragedia, que nunca más
será feliz. Y si bien el divorcio no es algo agradable, tampoco
es el fin del mundo y no es tan terrible, porque una falsa
creencia de la gente, es que se necesita estar acompañada
para ser feliz.
11
En fin que casos en donde se evalúa de forma errónea una
situación abundan. Y tan abundan que muchas veces nosotros
mismos calificamos a las personas que utilizan mal esta “Línea
de Evaluación Vital” como neuróticas o bipolares. Yo más bien
diría que tienen el síndrome de la “terriblitis”.
Y ¿saben qué?, en las relaciones laborales este síndrome se
vive todos los días. Puede ser por la tensión de las relaciones
organizacionales o por el estrés laboral que surjan situaciones
como estas:
11
Pensemos en una oficina pública: es viernes por la noche, yo
soy Jefe de Departamento, y tengo a mi cargo la elaboración
del reporte del avance de los trabajos de simplificación
administrativa, mismo que debe estar listo a las once de la
mañana del lunes en la oficina del Director General.
Es sábado a las siete de la mañana y mi superior jerárquico, mi
jefe directo, me llama por teléfono para comunicarme, a través
de gritos, que el informe no lo recibió en su correo y que va a
arder Troya porque el informe no estará a tiempo, que si está
seguramente estará mal, que tendrá errores y que él no lo
revisará. Prácticamente me dice que valdría más estar muerto.
Y para mis adentros pienso: ¿Los servicios públicos se pararán
por la no entrega del informe? ¿El gobernador detendrá su
agenda porque no está el informe? Más aún, me pregunto si mi
jefe habrá revisado su carpeta de correo no deseado. Si lo
hubiera hecho sabría de antemano que el informe está
completo, en limpio y listo para remitirse.
Creen ustedes que vale la pena esta sobre terribilización de
hechos. Creo que no.
12
En fin, que en la administración pública, en la administración
privada y, en nuestra vida cotidiana existen ejemplos “terribles”
como el caso del informe. Ustedes seguro sabrán de eso.
Pero esta “terriblitis” no es otra cosa que hacer mal la
evaluación que está en pantalla.
Para hacer una buena evaluación los psicólogos recomiendan
utilizar criterios claros, estos son:
12
Racionalidad
Objetividad
Intelectualmente maduros
13
Ahora bien, pasando al plano institucional u organizacional del
sector público, que es el tema que hoy nos convoca, quiero
decirles que muchas de las evaluaciones que he revisado caen
en el polo opuesto de la terriblitis.
Sí, así es, las evaluaciones de programas presupuestarios o
institucionales tienden a la genialitis. Describen programas
bondadosos con resultados triunfalistas, generosos, solidarios,
13
solucionadores de problemas, únicos, eficaces y hasta
económicos.
Pero, ¿esto será cierto?, ¿será qué las evaluaciones utilizan
criterios racionales, objetivos e intelectualmente maduros para
determinar el éxito o fracaso de los programas? O es que no
son las evaluaciones, ¿son los programas que no se realizaron
con criterios racionales, objetivos e intelectualmente maduros
los que están fallando?
Bueno, pues la respuesta la tendrán sólo si evalúan y si auditan
los programas. Sólo a través del ensayo y del error se pueden
corregir estas actuaciones gubernamentales.
…
14
Bueno, para culminar este punto uno de la presentación,
expongo a ustedes el mapa de tareas ligadas a los indicadores,
es decir, a la planeación, ejecución, evaluación y auditorías de
programas:
Decíamos hace unos minutos que un indicador indica,
esa es su labor.
14
Por su parte, la labor de los diseñadores de los
indicadores es hacer buenos señalamientos para rutear
un programa. Y en esta idea de ruta, los indicadores
deben estar ligados a los objetivos del programa.
La labor de los ejecutores y/o responsables de un
programa es monitorear el comportamiento del programa
y sus resultados para la toma de decisiones.
Y la labor de un auditor o evaluador externo es verificar
los resultados del programa a través de sus indicadores;
constatar sus logros; identificar si cumplió sus objetivos
con apego a sus normas y criterios de eficacia, eficiencia,
economía y calidad; analizar la construcción de los
indicadores y, en su caso, el diseño y consistencia del
programa.
Como pueden observar, hablamos de indicadores siempre en
un contexto de programa o política, de objetivos y metas. Atrás
quedaron los tiempos en los que los indicadores eran sólo un
requisito para el Informe de Cuenta Pública o para la
requisición presupuestal, indicadores desligados a la actividad
sustantiva o indicadores que sólo señalan lo programado contra
lo realizado.
15
La situación cambió, y lo hizo no sólo por la necesidad de saber
qué se logra con el dinero público, también lo hizo por ley.
En México, de acuerdo con la Ley General de Contabilidad
Gubernamental, los municipios, los gobiernos estatales y
también el gobierno federal deberán introducir el modelo de
Gestión para Resultados e implementar Presupuestos basados
en Resultados y Sistemas de Evaluación de Desempeño.
Esto significa una transición en el modo de planear, ejecutar y
evaluar el gasto público. En este contexto, los indicadores son
el medio, son elementos que indican si en la ruta de la
ejecución del gasto se obtuvo lo que se planteó.
16
15
2. El modelo de gestión para resultados.
16
Para abordar este punto número 2, que, advierto, es más
técnico que el anterior, comenzaré desmenuzando el concepto
de Modelo de Gestión para Resultados.
Según la Real Academia Española (RAE), gestionar significa:
“hacer diligencias conducentes al logro de un negocio o de un
deseo cualquiera”.
Como lo indica la definición, gestionar tiene que ver con lo que
se hace para cumplir un deseo u objetivo cualquiera, es
decir, tiene que ver con el cómo de la acción.
Por su parte, Resultado, según la misma RAE, es el “efecto y
consecuencia de un hecho, operación o deliberación”.
Uniendo los dos significados y utilizando la sana lógica
tenemos Gestión para Resultados es, en términos simples,
hacer lo conducente para obtener el efecto esperado.
Como verán, esto, aparentemente, no tiene nada de nuevo,
suena como a la Ley de la Causa y Efecto.
17
La pregunta es ¿el gobierno históricamente no ha actuado así?
Y la respuesta es sí. Con salvedad de la física cuántica, toda
acción humana obedece a este principio, de modo que el
gobierno, desde que es gobierno, ha actuado con esta lógica.
Entonces ¿qué hace diferente al modelo de Gestión para
Resultados de otros modelos de actuación gubernamental? La
respuesta está en el enfoque, en la orientación al resultado.
De este manera la GpR es definida como un modelo de cultura
organizacional, directiva y de gestión que pone énfasis en los
resultados y no en los procedimientos, destacando el cómo se
hacen las cosas.
Así mismo, enfatiza en la creación de valor público. De ahí
que, se centre en evaluar el rendimiento.
Intentaré contextualizar esto a la luz de las etapas del proceso
de las políticas públicas.
17
Veamos.
De manera genérica, el proceso de política pública comienza a
partir de la instalación de una problemática para algún sector
18
de la sociedad. Cuando estos problemas comienzan a ser
asumidos por los gobiernos dejan de ser simples problemas
para transformarse en cuestiones públicas y se conforma,
entonces, una agenda de asuntos públicos.
Definida la agenda de asuntos públicos le sigue una etapa de
formulación de alternativas de solución a la problemática
detectada. En ésta, los actores involucrados directa o
indirectamente participan, o deberían participar, del debate en
torno a crear la fórmula de solución al problema.
La siguiente fase tiene que ver con la adopción de la decisión
por parte de los poderes públicos, decisiones que,
regularmente, son tomadas por el Poder Ejecutivo.
Posterior a ello hay una etapa de implementación o de la
puesta en práctica de las políticas y, finalmente, existe una
etapa de evaluación, que es donde se miden y valoran sus
resultados.
De estas cinco etapas básicas, el Modelo de Gestión para
Resultados participa activamente en las últimas dos: en la
instrumentación y en la evaluación de las políticas
públicas.
19
Digo que participa en estas etapas porque este modelo de
gestión, es decir, este modelo de hacer las cosas del gobierno,
focaliza sus acciones en los impactos de los programas
gubernamentales.
A diferencia de los modelos de gestión de hace algunos años,
en la ejecución de los programas de gobierno actuales ya no
interesa tanto el hecho de cumplir a pie juntillas con la
“normatividad vigente”, ya no es tan importante atender los
“procedimientos establecidos” o alcanzar las metas físicas y
financieras. Lo que le interesa ahora es el efecto del actuar del
Estado en la solución de los problemas públicos.
En otras palabras, en la parte de instrumentación de las
políticas públicas lo que pretende el Modelo de Gestión para
Resultados es trabajar mirando menos los procesos al
interior del gobierno para enfatizar en los efectos de las
actuaciones gubernamentales.
Y la forma de medir los impactos y efectos de políticas y
programas es a través de la evaluación, como indiqué, para
valorar los resultados, pero no sólo eso, también para generar
aprendizaje institucional y retroalimentar o reformular las
acciones ejecutadas.
De eso se trata la Gestión para Resultados.
20
18
Ahora bien, se dice que la Gestión para Resultados es un
modelo que nace de los esquemas gerenciales de la iniciativa
privada. Hay algo de cierto en ello, pero no debemos olvidar
que los motivos o los fines del sector público y privado son
diferentes.
Para la iniciativa privada, el hacer o no hacer, depende de un
estudio referencial de costo vs beneficio, donde el margen de
utilidad tiene la última palabra; no así para el sector público,
que, ante la identificación de un problema público y la
imposibilidad del mercado por atender esta demanda social,
actúa para resolver, mitigar o mantener el problema.
Bajo el Modelo de Gestión para Resultados es, precisamente,
la identificación del valor público, lo que obliga a los gobiernos
a diseñar métodos para medir y evaluar el impacto de los
resultados obtenidos con sus actuaciones.
Dicho lo anterior, tocaré el Presupuesto basado en
Resultados como un componente del Modelo de Gestión
para Resultados.
21
19
El Presupuesto basado en Resultados busca mejorar la calidad
del gasto o inversión pública, ése es su fin. Lo hace a través de
la aplicación de la Metodología del Marco Lógico (MML) y la
Matriz de Indicadores para Resultados (MIR), ésta última
permite apoyar las decisiones de asignación de presupuesto en
función de los resultados e impactos obtenidos por cada
programa o política gubernamental.
En otras palabras, se trata de identificar los resultados que a
un gobierno le llevarán a resolver determinado problema,
implementar los cursos de acción, monitorear y evaluar los
resultados y, por último, asignar recursos en función a ello.
Más fácil: la cuestión es asegurase de conseguir resultados
positivos para, al final del día, garantizar que los tomadores de
decisiones, quienes asignan el presupuesto, no le “echen
dinero bueno al malo”; la cuestión es garantizar que aquellos
programas con resultados negativos se supriman o modifiquen
y que los programas exitosos continúen o, en su caso, se
eliminen al haber mitigado la problemática para la cual fueron
creados.
22
20
En pantalla se observan algunas de las características del
Presupuesto basado en Resultados, como decíamos:
Conduce al logro de objetivos y, algo muy importante,
define y alinea los programas presupuestarios y sus
asignaciones a través del ciclo que va de la planeación a
la transparencia y rendición de cuentas.
Considera también los indicadores estratégicos y de
gestión, vinculando las metas de éstos a los programas
presupuestarios; desde luego, el secreto es relacionar la
asignación de recursos con estas metas.
21 Utiliza los resultados del desarrollo y permite
comparaciones entre lo observado y lo esperado.
Apoya el mejoramiento continuo de las políticas, de los
programas y del desempeño de las instituciones, así
como de las decisiones presupuestarias, considerando el
seguimiento y las evaluaciones realizadas.
22
Aterricemos el Presupuesto basado en Resultados (PbR) en
algo tangible.
23
Supongamos que tenemos el problema de mortalidad infantil en
menores de 5 años por enfermedades diversas, como las
infecciones respiratorias agudas, diarreicas y hasta
poliomielitis.
En el esquema de modelo presupuestal inercial -hay que
decirlo, en muchos lugares aún se ocupa, sobre todo en las
administraciones municipales-, lo que nos interesaría es
aumentar la compra de vacunas bajo los procedimientos
administrativos adecuados para “cumplir con la normatividad
vigente” y así alcanzar la meta de vacunas programadas contra
las realizadas. Y sí, escucharon bien, dije: “lo que nos
interesaría es aumentar la compra de vacunas”, no así, su
aplicación y mucho menos el efecto en la población.
En este tipo de modelo de presupuesto inercial, usualmente se
incrementa el presupuesto en un porcentaje similar a la
inflación anual y de ahí se formula un techo financiero para
invertirlo, literalmente, en lo que alcance.
24
Esta misma situación, a la luz de la aplicación del Modelo de
Presupuesto basado en Resultados, implicaría resolver el
problema de la mortalidad infantil a través de diversas
estrategias, las vacunas podrían ser una de ellas, pero no la
única, es posible que en la definición de problemática se
identifiquen mayores causas y, en tanto, se planteen otras
alternativas de solución.
La elección de la solución al problema, entonces, se focalizaría
en conseguir un beneficio tangible y efectivo para la población
objetivo, en este caso los menores de 5 años. Desde luego,
tendríamos que ubicar un parámetro, una señal o, lo que es lo
mismo, un indicador, para medir la eficacia de nuestra
actuación.
Un indicador determinante para ello, podría ser, conocer cómo
aumenta la esperanza de vida al nacer, a partir de la
implementación de nuestra alternativa de solución.
25
Con esta lógica de resultados cambiaría el sentido la
implementación de políticas y programas en los tres ámbitos de
gobierno, por ejemplo: creo que en la mayoría de las entidades
federativas y municipios del país, hay programas de despensas
para personas vulnerables, algunos de estos programas puede
que tengan reglas de operación e identifiquen a su población
objetivo a través de estudios focalizados, pero cuántos de estos
programas sólo entregan despensas por “ayudar”, lo digo entre
comillas, de “buena fe” a la población, ¿cuántos de estos
programas, que ejecutan los tres ámbitos de gobierno, duplican
a la población objetivo?
23
Incluso, en aquellos programas alimetarios que cuentan con
reglas de operación y están focalizados, pregunto ¿saben cuál
es el impacto de su ejecución?, ¿se tienen indicadores para
monitorear y evaluar los programas?, ¿se tiene un seguimiento
a las personas que reciben esta despensa para saber si ha
mejorado su condición nutrimental o socioeconómica a partir de
que recibe su despensa o canasta alimenticia?, ¿se cuenta con
un plan estratégico o multianual que permita establecer metas
a corto y mediano plazo?
Creo que la respuesta en algunos casos, es no.
26
24
Bueno, pues precisamente la aplicación del Presupuesto
basado en Resultados pretende darle pies y cabeza a las
actuaciones gubernamentales.
En materia de seguridad alimentaria, por ejemplo, los
programas se orientarían a disminuir la población con pobreza
alimentaria; un programa de apoyo al campo esperaríamos que
con efectividad incremente la productividad agrícola; en materia
de educación se buscaría incrementar la eficiencia terminal en
los diferentes niveles educativos, el rendimiento académico, la
absorción de egresados de los niveles de educación media
superior y superior por el mercado laboral, entre otros.
25
Muy bien, decía hace algunos minutos que para fijar un
resultado y medirlo se utiliza la Metodología de Marco Lógico
y la Matriz de Indicadores para Resultados, mejor conocida
como MIR.
Abordo de manera sintética el concepto de Metodología de
Marco Lógico.
27
La Metodología de Marco Lógico es un instrumento de gestión
por objetivos de programas.
Puede vérsele también como un procedimiento sistemático y
dinámico de ejecución que implica la participación de los
actores involucrados; razón por la cual se le concibe como una
de las tecnologías del control y gestión de las política públicas.
Por su parte, la Matriz de Indicadores para Resultados es una
herramienta de análisis estructurado que sirve para presentar la
información básica de un programa, permitiendo así tener una
visión más completa y ordenada del mismo.
Una Matriz de Indicadores para Resultados describe:
La finalidad del programa.
Los Impactos esperados.
Los productos y servicios necesarios para lograr los
impactos.
Las actividades a realizar para producir esos productos y
servicios.
El costo de la producción de los productos y servicios.
Los mecanismos para la medición del logro de los
objetivos.
Y los factores externos que inciden en las posibilidades
28
de lograr los objetivos planteados.
26
Dicho de otra manera, la Matriz de Indicadores para Resultados
sintetiza en una tabla o matriz de cuatro filas por cuatro
columnas para qué se hace un programa, qué se hará y como
se hará.
En esta primera intervención no voy a entrar en mucho detalle
sobre la construcción de la MIR.
Sólo explicaré el contenido de las columnas verticales de la
Matriz de Indicadores para Resultados a través de un ejemplo.
Pensemos en un problema: imaginemos que existe un lugar
donde los jóvenes de escasos recursos tienen un alto índice de
deserción en la educación media superior. En este supuesto,
nada alejado a la realidad, se identificaron las causas del
problema, que son: Incorporación de los jóvenes en edad
temprana al mercado laboral; estudiantes de familias con
escasos recursos y alta incidencia de embarazos en jóvenes
estudiantes.
Para resolver este problema se construyó una MIR con los
siguientes niveles de objetivos:
29
Actividad. En la MIR se define como las principales
acciones emprendidas mediante las cuales se movilizan
los insumos para generar los bienes y/o servicios que
produce o entrega el programa.
En el caso hipotético que planteo, las actividades
realizadas fueron: entrega de apoyo económico a
estudiantes de escasos recursos y ofrecer más y mejor
educación sexual.
Componente. Según la MIR, es el nivel en donde se
establecen los bienes y/o servicios que produce o entrega
el programa para cumplir con su propósito.
En este caso, el efecto de la entrega de apoyo económico
a estudiantes de escasos recursos se tradujo en una
disminución de la incorporación de jóvenes al mercado
laboral y la mayor educación sexual en una disminución
de embarazos en jóvenes.
Propósito. Es el resultado directo a ser logrado en la
población como consecuencia de la utilización de los
componentes (bienes y/o servicios) producidos o
entregados por el programa.
Para el caso del problema que expongo, las actividades y
componentes lograron que las familias de escasos
recursos tengan un bajo índice de deserción escolar en
educación media superior.
30
Fin. Es el nivel de objetivo más alto y se concibe como la
contribución del programa, en el mediano o largo plazo, al
logro de un objetivo del desarrollo estatal o nacional.
Para efectos del ejemplo, el objetivo fue contribuir a la
generación y ocupación de empleos mejor remunerados
mediante la disminución de la deserción de educación
media superior de los estudiantes de escasos recursos.
27
En resumen, la Matriz de Marco Lógico es una herramienta en
que se prevén los mecanismos para medir de manera objetiva
los resultados obtenidos y compararlos con los resultados
previstos. Es por ello, que constituye un elemento central en la
evaluación de los programas.
Y para culminar este punto me permito recomendarles
ampliamente el material emitido por la CEPAL y, a nivel
nacional, la Guía para la elaboración de la Matriz de
Indicadores para Resultados y el Manual para el diseño y la
construcción de indicadores publicadas por el CONEVAL,
que son documentos que llevan de la mano a los servidores
públicos a la construcción de la MIR, está muy bien hecho.
Tiene ejemplos completos, recomendaciones de sintaxis para la
definición de objetivos, sugerencias metodológicas y criterios
para la definición de indicadores, entre otras cosas.
31
28
Bueno, hasta aquí hemos visto que el Modelo de Gestión para
Resultados y sus dos valiosas herramientas: la Metodología del
Marco Lógico y la Matriz de Indicadores para Resultados sirven
para mejorar la calidad del gasto público, aumentar la eficiencia
de la gestión pública, fortalecer la transparencia y simplificar la
rendición de cuentas.
32
29
3. Caso mexicano
30
En México, a partir de la Reforma Constitucional en materia de
gasto público y fiscalización que entró en vigor en el año 2008,
se inició un proceso de construcción jurídica, administrativa e
institucional para consolidar el Modelo de Gestión para
Resultados que, para su correcta aplicación, se acompaña de
herramientas que permiten que las decisiones de asignación
del presupuesto consideren los resultados de la aplicación de
los recursos públicos.
Tales herramientas son el Presupuesto basado en Resultados,
el Sistema de Evaluación de Desempeño y, en ese mismo
tenor, desde la óptica del Poder Legislativo, las auditorías de
desempeño.
De modo tal que, con este esquema de Instrumentos Jurídicos,
Administrativos e Institucionales, pretendo revisar, en primera
instancia, el avance que el gobierno federal tiene en la materia
para, más adelante, comentar los avances en el ámbito estatal.
Comienzo por los Instrumentos jurídicos.
33
El artículo 134 de la Constitución Política de los Estados
Unidos Mexicanos estipula que los recursos económicos de
que dispongan la Federación, los estados, los municipios y las
demarcaciones políticas de la Ciudad de México, se
administrarán con eficiencia, eficacia, economía, transparencia
y honradez para satisfacer los objetivos a los que estén
destinados. Añade, además, que los resultados del ejercicio de
dichos recursos serán evaluados por las instancias técnicas
que establezcan, respectivamente, la Federación y las
entidades federativas.
Este mandato originó que se modificaran también la Ley
Federal de Presupuesto y Responsabilidad Hacendaria y su
respectivo reglamento, y la Ley de Desarrollo Social, entre
otros ordenamientos, ello sólo para atender lo relativo al
Presupuesto basado en Resultados y la evaluación.
31
Sobra mencionar, desde luego, la Ley General de Contabilidad
Gubernamental, que privilegia los resultados y la evaluación de
del desempeño de los programas presupuestarios.
No voy aquí a referir con precisión cada uno de los artículos y
funciones señalados en la norma, porque me llevaría todo el
día citarlos y analizarlos. Pero es importante referir que sin esta
adecuación al marco jurídico, sería imposible pasar a los
34
aspectos administrativos e institucionales.
32
Instrumentos Administrativos.
En México la Gestión para Resultados está conformada por
el Presupuesto basado en Resultados, que, de acuerdo con
la Secretaría de Hacienda, tiene por objetivos: transitar a la
generación y acopio sistemático de indicadores para
resultados; reconfigurar el proceso presupuestario para
orientarlo a los resultados y; finalmente, lograr que las
asignaciones de presupuesto consideren los resultados de las
evaluaciones de los programas presupuestarios.
A su vez, el Presupuesto basado en Resultados contiene al
Sistema de Evaluación del Desempeño, que está orientado a
medir los resultados de los programas presupuestarios y a
evaluar la instrumentación de mejoras a la gestión a través de
convenios compromiso para obtener mejores resultados.
Puede decirse que, quizá, el Sistema de Evaluación del
Desempeño sea el corazón o eje del Modelo de Gestión para
Resultados en nuestro país.
33
En pantalla pueden observarse los objetivos del Sistema de
35
Evaluación del Desempeño que, en mucho, tienen que ver con
lo que ya he mencionado con anterioridad:
Elevar la eficiencia gubernamental y del gasto público.
Mejorar la cobertura y calidad de los bienes y servicios.
Fortalecer la transparencia y rendición de cuentas.
Conocer los resultados e impacto social y económico de
los programas.
Identificar las mejores estrategias de gobierno y de
desarrollo.
Elevar la calidad del gasto público.
34
En pantalla pueden observar un par de láminas más que hacen
referencia al Sistema de Evaluación del Desempeño, cuyo
propósito es conocer los resultados del ejercicio de los recursos
y el impacto social y económico de los programas. Lo cual se
realiza con base en indicadores.
También lo es el identificar la eficacia, eficiencia, economía y la
calidad en el gasto y las mejores estrategias de gobierno y de
desarrollo.
36
35
Antes de comenzar a hablar sobre los componentes del
Sistema de Evaluación del Desempeño, quiero destacar lo vital
que es la alineación de consistencia de los diversos programas
gubernamentales: a nivel federal se realizó un ejercicio de
vinculación, en el cual a partir de los objetivos, indicadores y
metas del Plan Nacional de Desarrollo se identificaron los
objetivos estratégicos de las dependencias y entidades, y éstos
a su vez se vincularon con los objetivos, indicadores y metas
de los programas presupuestarios. Esto supone que, de
haberse realizado una vinculación consistente, el logro de
resultados a nivel de programas podría contribuir al logro de
objetivos estratégicos y nacionales establecidos en el Plan
Nacional de Desarrollo.
Advierto que hay tres actores fundamentales en la implantación
del Sistema de Evaluación del Desempeño: la Secretaría de
Hacienda y Crédito Público, la Secretaría de la Función Pública
y el Consejo Nacional de Evaluación de la Política Social
(CONEVAL).
A través de estas instancias es que los Lineamientos
Generales para la evaluación de los Programas Federales de la
Administración Pública Federal fueron publicados
conjuntamente en marzo de 2007 y, posteriormente, adecuados
y mejorados.
37
El propósito de estas disposiciones administrativas es:
Regular la evaluación de los programas federales y la
elaboración de la Matriz de Indicadores.
Delimitar los tipos de evaluación.
Delimitar los instrumentos de monitoreo y evaluación.
Citado lo anterior, continúo con los componentes del Sistema
de Evaluación del Desempeño.
36
Si miran la presentación observarán dos grandes elementos: el
componente de Evaluación de Políticas Públicas y
Programas Presupuestarios y el componente de Evaluación
de Desempeño Institucional. Cada uno de ellos está
cimentado en un programa, el primero en el Programa Anual de
Evaluación y el segundo en el Programa de Mediano Plazo.
37
Sobre el componente de Evaluación de Políticas Públicas y
Programas Presupuestarios puedo decir que se instrumenta
mediante diferentes tipos de evaluaciones.
Y es que uno de los objetivos más apremiantes de la nueva
agenda de evaluación y monitoreo es lograr que las
38
evaluaciones a programas presupuestarios sean objetivas e
independientes, y que sean útiles para apoyar la toma de
decisiones.
Para lograrlo, los lineamientos establecen los programas que
estarán sujetos periódicamente a evaluaciones externas de
varios tipos, como son: evaluaciones de diseño, consistencia y
resultados, impacto, complementarias, de indicadores, y
procesos. Además, también están contempladas las
evaluaciones estratégicas a políticas específicas.
38
Aclaro que cuando se hace referencia a evaluaciones externas
se alude a trabajos realizados por instancias técnicas
especializadas en evaluación, como universidades, colegios,
despachos, profesionales independientes y el propio
CONEVAL.
Para programas nuevos se realiza un diagnóstico que justifique
su creación, una evaluación externa sobre el diseño que se
propone y un análisis del funcionamiento y un análisis de
operación de los principales procedimientos.
Les comento que si desean obtener mayor detalle de este tipo
de evaluaciones pueden consultar la “Normatividad para la
Evaluación de los Programas Federales” en el sitio web del
39
CONEVAL, que contiene, entre otros documentos: los
Lineamientos Generales para la Evaluación de los Programas
Federales, el Programa Anual de Evaluación, Matriz de
Indicadores para Resultados, Mecanismos para el seguimiento
de las evaluaciones externas y los Términos de Referencia
para evaluaciones.
El Programa Anual de Evaluación corresponde al
componente de Evaluación de Políticas Públicas y
Programas Presupuestarios y tiene como fin determinar los
tipos de evaluación que se aplicarán a “N” número de
programas presupuestarios durante el ejercicio fiscal y
establecer el calendario de ejecución de las evaluaciones
respectivas.
Por otro lado, aunque no aparece en láminas, el componente
de Evaluación de Desempeño Institucional lo constituye el
Programa de Mediano Plazo. Es un sistema de indicadores
que profundiza en el seguimiento de la producción de bienes y
servicios de la Administración Pública Federal, así como en los
procesos y actividades necesarios para producirlos.
40
Ahora bien, el siguiente punto de mi participación se refiere a
los instrumentos Institucionales que, hasta cierto punto ya los
40
he citado y son básicamente las instancias encargadas de
operar el Sistema de Evaluación del Desempeño, repito, la
Secretaría de Hacienda y Crédito Público, la Secretaría de la
Función Pública, el CONEVAL y, agregaría a las dependencias
ejecutoras de programas presupuestarios y con reglas de
operación del gobierno federal.
Destaco la actuación del CONEVAL, al que la Ley General de
Desarrollo Social le pide al menos dos cosas relevantes: medir
la pobreza de manera multidimensional, es decir, utilizando
muchos factores y dimensiones a nivel nacional, estatal y
municipal, y normar y coordinar la evaluación de programas y
políticas de desarrollo social.
Y lo que hace es de relevancia porque de poco nos sirve tener
evaluaciones particulares de programas, sin saber la
contribución de éstos a la meta general que es bajar la
pobreza.
41
41
4. Avances en las entidades federativas
42
Llegamos al apartado 4 de la agenda de esta presentación:
Avances de la implantación del Modelo de Gestión para
Resultados en las entidades federativas.
Si bien es cierto que el proceso de instrumentación en el
ámbito de gobierno federal ha sido paulatino y con aciertos y
fracasos, el avance que presentan las entidades federativas es,
en muchos casos, todavía incipiente.
Pero, ¿qué deben hacer las entidades federativas para
insertarse en esta lógica?
La teoría dice que deben aprovechar las Tecnologías de
Información para hacer más eficiente la actuación de sus
gobiernos y mejorar la calidad e impacto del gasto público.
Para ello, es condición profesionalizar al servidor público y, en
general, mejorar la cultura organizacional de las instituciones
42
públicas.
43
Además, deben adoptar el Presupuesto basado en Resultados
que facilite el cumplimiento de metas; evaluar el desempeño de
los programas de gobierno y su impacto en la población; y
alinear sus programas y asignaciones a través del ciclo
planeación, programación, presupuestación, ejercicio, control,
seguimiento y evaluación.
¿Y todo esto que acabo de decir es sencillo? No, no lo es.
44
Por este motivo la Secretaría de Hacienda y Crédito Público
recomienda a las entidades federativas establecer un esquema
para transitar de manera gradual hacia el Presupuesto basado
en Resultados.
Primeramente sugiere adecuar el marco normativo, de
forma similar como se hizo en el gobierno federal.
Segundo, migrar a una estructura programática por
resultados.
43
Tercero, utilización de matrices de indicadores para
evaluar los programas presupuestarios.
Cuarto, Implementar un sistema de evaluación del
desempeño.
Quinto, establecer las instancias técnicas de evaluación.
45
La identificación del grado de avance en la implementación del
PbR-SED en las entidades federativas, se realiza mediante la
elaboración del Índice de Avance del PbR-SED. El cual consta
de la aplicación de un cuestionario y de las respuestas que
dicho instrumento metodológico arrojen, se identifica el grado
de avance al respecto.
46
Para medir los avances de los gobiernos estatales en la
implementación del Presupuesto basado en Resultados, la
Secretaría de Hacienda y Crédito Público realizó en los años
2010, 2012, 2014, 2015, 2016 y 2017 diagnósticos que abarcan
la información de los temas de ajustes jurídicos alineados a
presupuestación por resultados y evaluación del desempeño;
avance en la cumplimentación de mejoras al ciclo
presupuestario (planeación, programación y presupuesto);
armonización contable; y transparencia.
44
Este diagnóstico le permitió conocer el porcentaje de avance y
establecer un plan de acción conjunto para alcanzar la
cobertura nacional integral de esta iniciativa.
Los resultados se muestran por entidad federativa y son los
siguientes:
47
Para 2017 con cuatro porcentajes más altos de cumplimiento
se encuentran el Estado de México, Baja California,
Guanajuato y Yucatán.
Y con los niveles más bajos aparecen: Durango, Veracruz,
Guerrero, Colima y Baja California Sur.
48
Aunado a lo anterior, de 2016 a 2017 se registraron avances
significativos en la instrumentación del PbR-SED en las
entidades federativas, entre los que destacan:
En términos generales, la instrumentación del PbR-SED
se incrementó 4.3 %.
En materia de transparencia se registró un incremento de
7.2 por ciento.
En capacitación el aumento fue de 9.4 por ciento.
Respecto a los procesos de adquisiciones el avance fue
45
de 4.1 por ciento.
Y finalmente, en relación a la capacitación y
profesionalización de recursos humanos, se registró un
avance de 20.0 por ciento.
49
Algunas de las conclusiones a las que llegó la SHCP, respecto
a la instrumentación del PbR-SED en las entidades federativas
se resume de la siguiente manera:
El marco jurídico se encuentra alineado con las
disposiciones federales que regulan la instrumentación
del PbR-SED.
84% cuenta con MIR de los Programas presupuestarios,
y a sus metas establecidas se les da seguimiento a través
de indicadores.
84% tiene Unidad o Área responsable de llevar a cabo las
evaluaciones de desempeño de los programas y acciones
de gobierno.
87% cuentan con Programas Anuales Operativos,
además de que se definen los Programas
presupuestarios y acciones de gobierno a evaluar.
62% cuentan con mecanismos formales de seguimiento a
las recomendaciones de evaluaciones externas.
Y tan sólo el 56% toma en cuenta los resultados de las
evaluaciones para la mejora del desempeño de los
46
programas presupuestarios evaluados.
50
5. Modelo de gestión para Resultados desde la Óptica de la
Fiscalización Superior
51
Como punto 5 y último de esta plática tengo agendado abordar
el Modelo de gestión para Resultados desde la Óptica de la
Fiscalización Superior.
La pregunta es, ¿A los fiscalizadores superiores para qué nos
sirve este modelo?
Bueno, pues la respuesta puede tener diferentes enfoques, yo
hablaré del enfoque que me corresponde fiscalizar, que es el
del desempeño.
Y considero que los beneficios que exista el Modelo de Gestión
para Resultados en las entidades que a diario fiscalizamos
sirve para:
Verificar que la asignación de recursos se determinó
tomando como referencia los resultados de los programas
presupuestarios.
47
Verificar que los servicios incrementaron su calidad.
Verificar que existen iniciativas para mejorar la gestión
pública incrementando el valor público.
Verificar que existe énfasis en los resultados y no en los
procedimientos.
Evaluar el desempeño con base en indicadores para
conocer el cumplimiento de metas y objetivos.
52
Ahora bien, a la pregunta expresa de cómo pueden contribuir
las Entidades Locales de Fiscalización Superior a este proceso
de gestión para resultados, mi propuesta es que pueden:
Estudiar, analizar y, en su caso, emitir recomendaciones
sobre el proceso de adecuaciones jurídicas,
administrativas e institucionales para implementar la
Gestión para Resultados y Presupuesto basado en
Resultados en la entidad federativa que fiscaliza.
Revisar en las auditorías o evaluaciones de desempeño
la construcción de las MIR, sus resultados e impacto en
los procesos presupuestales.
48
Al respecto les comento la experiencia del OSFEM.
En la Auditoría Especial de Evaluación de Programas, la cual
tengo la suerte de dirigir, desde algunos años venimos
realizando auditorías de desempeño.
Para efectuarlas nos hemos ayudado de la metodología de la
Auditoría Superior de la Federación, pero tampoco hemos
desoído expresiones como las de la INTOSAI, las evaluaciones
de consistencia y resultados del CONEVAL y las Normas de
Auditoría Gubernamental en el apartado de auditorías de
rendimiento de la GAO.
Si bien en un principio nuestras auditorías se enfocaban, en
mucho, a la revisión de aspectos de control interno y
cumplimiento de norma. A últimas fechas hemos avanzado a
evaluar los resultados de los programas y, de manera gradual,
nos acercamos a medir los impactos de los programas.
Y una parte importante de nuestras auditorías es,
precisamente, la revisión de los resultados, es decir,
verificar el alcance de las metas, pero también analizar el
diseño de los indicadores y recomendar mejoras a estas
mediciones.
49
Más aún, en los meses pasados realizamos una auditoría de
desempeño al Sistema Integral de Evaluación del Desempeño,
en la que se identificó en qué grado se cumplió con el mandato
de instrumentar el Presupuesto basado en Resultados, cómo
está construido, sus logros y retos.
En fin, que como entidades federativas aún tenemos mucho por
hacer.
53
Por mi parte aquí concluyo mi intervención, agradezco su
tiempo y quedo atento por si alguien tiene alguna pregunta,
comentario u aportación.
Muchas gracias.